Pensar mientras se habla: Transferencia de conocimiento en tiempo de inferencia para agentes de voz conversacionales responsivos e inteligentes

Resumen

Los agentes de voz se enfrentan a una tensión fundamental: el razonamiento, la recuperación y el uso de herramientas que hacen capaces a los modelos fundacionales son iterativos y lentos, mientras que la interacción conversacional exige respuestas en escalas de tiempo de milisegundos. Los modelos pequeños y en tiempo real cumplen con el requisito de latencia, pero no pueden igualar a los modelos fundacionales en tareas complejas, lo que obliga a los agentes de voz actuales a sacrificar capacidad de respuesta o capacidad. Introducimos el relleno conversacional (*conversational infill*), donde un modelo *talker* pequeño genera inmediatamente respuestas contextualizadas para ocultar la latencia de un modelo razonador externo, e integra fluidamente el conocimiento transmitido por el razonador durante la inferencia. Curamos un conjunto de datos sintéticos de 290,571 ejemplos en seis dominios y demostramos que esta tarea es aprendible a través de siete modelos de lenguaje pequeños ampliamente utilizados, con tamaños de 135M a 1.7B parámetros. Nuestra implementación del sistema, ConvFill, mantiene un tiempo hasta la primera respuesta a nivel de milisegundos, mientras reduce la brecha de precisión al 6.3% del rendimiento del razonador fronterizo correspondiente. En un estudio en vivo con usuarios (n=18), con implementaciones del *talker* ejecutándose en un chip Apple M2 SoC, los participantes califican a ConvFill a la par de los modelos fronterizos en general, lo prefieren para tareas con alta demanda de recuperación y lo consideran significativamente más receptivo. Estos resultados muestran que el relleno conversacional desbloquea un nuevo punto en la frontera de Pareto entre latencia y capacidad, ofreciendo un camino práctico hacia agentes de voz que sean tanto receptivos como altamente capaces. El código, los modelos y los conjuntos de datos están disponibles en https://github.com/vysri/conversational-infill.

English

Voice agents face a fundamental tension: the reasoning, retrieval, and tool use that make foundation models capable are iterative and slow, while conversational interaction demands responses on a millisecond timescale. Smaller, real-time models meet the latency bar but cannot match foundation models on complex tasks, leaving current voice agents to trade away either responsiveness or capability. We introduce conversational infill, where a small talker model both immediately generates contextually grounded responses to hide the latency of an external reasoner model and fluently integrates streamed reasoner knowledge into its responses during inference. We curate a 290,571-example synthetic dataset spanning six domains and demonstrate that this task is learnable across seven widely used small language models ranging from 135M to 1.7B parameters. Our system implementation, ConvFill, sustains millisecond-level time-to-first-response while closing the accuracy gap to within 6.3% of the corresponding frontier reasoner performance. In a live user study (n=18) with talker deployments running on an Apple M2 SoC, participants rank ConvFill on par with frontier models overall, prefer it for retrieval-heavy tasks, and rate it significantly more responsive. These results show that conversational infill unlocks a new point on the latency-capability Pareto frontier, offering a practical path toward voice agents that are both responsive and highly capable. Code, models, and datasets are available at https://github.com/vysri/conversational-infill.