13 Commits

Author SHA1 Message Date
Ettore Di Giacinto
254dc12fbd Move to debug calls
Signed-off-by: Ettore Di Giacinto <mudler@localai.io>
2024-12-23 16:00:23 +01:00
Ettore Di Giacinto
05bdee6f89 Attach context for VAD
Signed-off-by: Ettore Di Giacinto <mudler@localai.io>
2024-12-23 16:00:23 +01:00
Ettore Di Giacinto
5c2a00f7fb chore(vad): try to hook vad to received data from the API (WIP)
Signed-off-by: Ettore Di Giacinto <mudler@localai.io>
2024-12-23 16:00:23 +01:00
Ettore Di Giacinto
d76b654c51 feat(vad): hook vad detection
Signed-off-by: Ettore Di Giacinto <mudler@localai.io>
2024-12-23 16:00:23 +01:00
Ettore Di Giacinto
51d86b86d1 chore: extract realtime models into two categories
One is anyToAny models that requires a VAD model, and one is
wrappedModel that requires as well VAD models along others in the
pipeline.

Signed-off-by: Ettore Di Giacinto <mudler@localai.io>
2024-12-23 16:00:23 +01:00
Ettore Di Giacinto
b1c7fc0763 feat: correctly detect when starting the vad server
Signed-off-by: Ettore Di Giacinto <mudler@localai.io>
2024-12-23 16:00:23 +01:00
Ettore Di Giacinto
f2e0d23ce2 refactor
Signed-off-by: Ettore Di Giacinto <mudler@localai.io>
2024-12-23 16:00:23 +01:00
Ettore Di Giacinto
3b4c1a7054 Load wrapper clients
Testing with:

```yaml
name: gpt-4o
pipeline:
 tts: voice-it-riccardo_fasol-x-low
 transcription: whisper-base-q5_1
 llm: llama-3.2-1b-instruct:q4_k_m
```

Signed-off-by: Ettore Di Giacinto <mudler@localai.io>
2024-12-23 16:00:23 +01:00
Ettore Di Giacinto
6e468e9b8e chore: simplify passing options to ModelOptions
Signed-off-by: Ettore Di Giacinto <mudler@localai.io>
2024-12-23 16:00:23 +01:00
Ettore Di Giacinto
25c1fe3583 Add model interface to sessions
Signed-off-by: Ettore Di Giacinto <mudler@localai.io>
2024-12-23 16:00:23 +01:00
Ettore Di Giacinto
9987653da3 debug
Signed-off-by: Ettore Di Giacinto <mudler@localai.io>
2024-12-23 16:00:23 +01:00
Ettore Di Giacinto
4e19aab501 WIP
Signed-off-by: Ettore Di Giacinto <mudler@localai.io>
2024-12-23 16:00:23 +01:00
Ettore Di Giacinto
dfe6d0e9c5 WIP
Signed-off-by: Ettore Di Giacinto <mudler@localai.io>
2024-12-23 16:00:23 +01:00