Hogar conectado · Asistente de voz con IA
Jarvis es el asistente de voz que desarrollamos y usamos a diario en una vivienda con Home Assistant. Es nuestro banco de pruebas real para lo que luego aplicamos a asistentes y agentes: latencia medida, respaldo entre proveedores y modelos que no pueden inventarse una acción.
Resumen ejecutivo
Jarvis escucha en el salón con un micrófono de conferencia y en otras estancias a través de satélites de voz de Home Assistant. Detecta su palabra de activación con un modelo propio de openWakeWord, transcribe con Deepgram y con Whisper local de reserva y resuelve en código las órdenes habituales: luces por habitación, clima, sensores, temporizadores, recordatorios o la lista de la compra. Lo demás pasa a una cadena de cuatro proveedores de LLM con respaldo automático. Guarda conversaciones y hechos en PostgreSQL y Qdrant, habla con ElevenLabs y voces locales de reserva y se usa también desde una PWA y un panel web.
El reto
Un asistente que vive en una casa tiene que contestar rápido, entender castellano con la tele de fondo y no quedarse mudo cuando falla un servicio en la nube.
La palabra de activación preentrenada acertaba la mitad de las veces o se disparaba sola varias veces por hora, y la televisión provocaba cientos de activaciones al día.
La transcripción en la nube llegó a tardar 6,5 segundos y a confundir el castellano con sueco, inglés o portugués.
Además, un modelo de lenguaje no puede encender ni apagar nada que nadie ha pedido, ni contestar a «¿está encendida la luz?» ejecutando una orden.
La solución
Un servicio de voz en Python que funciona 24 horas en un mini PC con Debian, junto a Home Assistant en Docker. Las órdenes de la casa se resuelven en código y solo el resto llega al modelo de lenguaje. Cada pieza crítica tiene suplente: tres motores de transcripción, cuatro proveedores de LLM y tres voces. Los modelos solo actúan mediante herramientas con lista blanca, validadas contra los aparatos reales de la casa.
Funcionalidades
01
Los satélites de voz de otras estancias llegan al mismo cerebro mediante un puente HTTP. En el móvil, una PWA abre una sesión voz a voz con una clave efímera, y un panel FastAPI con HTMX muestra conversaciones, hechos y eventos.
Un modelo propio de openWakeWord, evaluado sobre un examen congelado de grabaciones reales, con una compuerta de energía que descarta el silencio digital del micrófono. Un agente reentrena el modelo con los aciertos y fallos que deja el uso.
Luces por habitación con excepciones («todas salvo la del sofá»), clima, sensores, temporizadores, recordatorios, tele, volumen y lista de la compra se resuelven sin modelo de lenguaje. Las frases con varias órdenes se separan y un contador mide qué parte acaba en el LLM.
Las órdenes ambiguas, como «una luz tranquila para cenar», las traduce un modelo pequeño a acciones con salida estructurada. Cada acción se valida contra las entidades reales, con un máximo de cuatro por frase. Accesos y cerraduras quedan fuera de este camino.
Un proveedor titular configurable y tres suplentes automáticos entre Groq, OpenAI, Anthropic y Ollama en local, con un plazo para toda la cadena. Si un proveedor retira un modelo, el fallo se detecta y la respuesta sigue por el siguiente.
ElevenLabs en streaming por oraciones, de modo que empieza a hablar con la primera frase; si falla o se agota el cupo, Kokoro y Piper en local. Tras una orden consulta Home Assistant para confirmar que el cambio ocurrió de verdad.
Modo en vivo con OpenAI Realtime o Gemini Live después de la palabra de activación. La respuesta solo suena si la transcripción propia confirma que alguien hablaba, y las herramientas pasan por los mismos guardias que el resto del asistente.
Conversaciones, hechos y eventos de la casa en PostgreSQL y en Qdrant, con embeddings multilingües calculados en local. Cada hora un resumidor extrae hechos nuevos, y se pueden indexar documentos PDF, Markdown o texto para consultarlos después.
Diez agentes y un resumidor funcionan como servicios de systemd: avisos proactivos con silencio nocturno y tope diario, registro de eventos de la casa, monitor de recursos, lectura solar, puente de presencia y entrenador de la palabra de activación, entre otros.
Cómo funciona
openWakeWord evalúa el audio cada 80 ms con el modelo propio. Una compuerta de energía descarta los disparos sobre silencio digital antes de abrir la escucha.
Silero VAD, combinado con el volumen, decide cuándo has terminado de hablar. En la primera pausa se lanza una transcripción especulativa para ganar tiempo en las órdenes cortas.
Deepgram con términos clave de la casa va primero; Whisper local en CPU y OpenAI quedan de reserva. Se filtran alucinaciones, bucles y frases en otro idioma.
Los manejadores en código resuelven luces, clima, sensores, temporizadores, recordatorios y lista de la compra. Las órdenes ambiguas van al intérprete con lista blanca.
El resto va a la cadena de LLM con memoria y, si hace falta, búsqueda web con un presupuesto de 6 segundos. Mientras piensa, una muletilla breve tapa la espera.
La respuesta se sintetiza por oraciones con ElevenLabs, Kokoro o Piper. Tras una orden se consulta Home Assistant y, si el cambio no se observa, lo dice en vez de darlo por hecho.
La conversación se guarda en PostgreSQL y Qdrant, y el resumidor horario convierte lo importante en hechos que se recuperan en las siguientes preguntas.
Arquitectura
Otros flujos
Tecnologías
Ingeniería
El trabajo arranca a mediados de julio de 2026 con una auditoría del sistema y la medición de cada etapa de la voz. Silero VAD sustituye al corte por volumen, se separan los plazos de conexión y de respuesta de Ollama y cada respuesta registra qué proveedor la dio.
Llega ElevenLabs con streaming y doble respaldo local, se comparan los LLM con el prompt real midiendo la primera palabra y se crea el intérprete de órdenes ambiguas en modo sombra, que registra propuestas sin ejecutarlas hasta revisar su acierto.
El sistema pasa de un PC con Windows a un mini PC con Debian sin GPU. Una prueba sobre 2.657 grabaciones reales decide la transcripción: Deepgram primero y Whisper small en CPU de reserva. Groq entra de titular y se entrena la nueva palabra de activación.
Un puente conecta los satélites de voz de Home Assistant con el mismo cerebro, con un turno a la vez y plazos por operación. Se añaden avisos por habitación, salud de los satélites y un vigía que reinicia el puente si se cuelga.
Llegan el modo en vivo con OpenAI Realtime y Gemini Live, la PWA móvil y la integración con Alexa. Las mejoras de voz se despliegan con copia previa de cada archivo, reversión automática y 2.517 pruebas aprobadas.
Resultados
84,6 %
de activaciones detectadas a 2,4 falsos positivos por hora, frente al 50 % del modelo preentrenado
Bitácora de entrenamiento de la palabra de activación (config/wakeword/bitacora_alexa.md), examen congelado de 26 grabaciones reales · 2026-08
276 ms
hasta la primera palabra del LLM titular, frente a 550 ms del proveedor anterior
Comparativa con el prompt real (scripts/comparar_llm.py), documentada en justine/llm_client.py · 2026-08
0,75 s
de grabación mínima tras hablar, frente a 2,10 s con el corte por volumen
Commit eafedd1 (endpointing con Silero VAD) · 2026-07
2.517
pruebas automatizadas aprobadas en el despliegue de las mejoras de voz
Informe de despliegue INFORME_MEJORAS_VOZ.md (commit 70cfcd4, rama voz-integracion) · 2026-10
Tiempo hasta la primera palabra de la respuesta con el prompt real del asistente. En una conversación hablada es lo que se percibe como rapidez.
Fuente: scripts/comparar_llm.py, resultados en justine/llm_client.py (_orden_proveedores) · Datos a 2026-08-09 · Dos rondas de medición desde la red de la casa. Groq retiró después ese modelo y el titular actual es otro de su catálogo, medido en 346 ms en otro proveedor.
| Periodo | Milisegundos hasta la primera palabra |
|---|---|
| Groq Llama 3.3 70B | 276 |
| Cerebras gpt-oss | 346 |
| OpenAI gpt-5.4-nano | 550 |
| Gemini Flash-Lite | 598 |
| OpenAI gpt-5.6-luna | 850 |
Cronología
Auditoría del sistema, Silero VAD y cadena de proveedores con respaldo.
Paso a un mini PC dedicado y nueva palabra de activación entrenada en casa.
Voz por habitaciones con satélites de Home Assistant.
Conversación voz a voz, PWA móvil e integración con Alexa.
Evolución prevista
Trabajo planificado, todavía no disponible.
Los eventos de la casa ya se indexan en una colección propia de Qdrant. Falta la intención de voz que responda preguntas como «¿cuándo vino el técnico?» con fecha y descripción.
Hoy el micrófono se silencia mientras habla el asistente para evitar que el eco lo corte. Activar la interrupción requiere antes una prueba acústica en la habitación.
La segunda tanda de satélites de voz se elegirá con los datos de disponibilidad y escucha que ya recoge Home Assistant de la primera.
Proyectos relacionados
Hogar conectado · Domótica e IoT
Domótica de una vivienda sobre Home Assistant: presencia por habitación con radar y Bluetooth, Zigbee, Shelly y avisos de lo que falla en silencio.
Hogar conectado · Visualización 3D en tiempo real
Gemelo 3D navegable de una vivienda dentro de Home Assistant: del plano de Sweet Home 3D a un GLB ligero que muestra luces, energía y estancias en vivo.
Energía solar residencial · Monitorización y gestión de autoconsumo
Producto de laboratorio para el autoconsumo solar: la medida y las alertas funcionan en una vivienda; el optimizador que decide está en fase de diseño.
Hablemos
Cuéntanos el problema. Te respondemos con un planteamiento claro: qué haríamos, en cuánto tiempo y con qué entregables.