Penser en parlant : Transfert de connaissances en temps d'inférence pour des agents vocaux conversationnels réactifs et intelligents

Résumé

Les agents vocaux sont confrontés à une tension fondamentale : le raisonnement, la récupération et l'utilisation d'outils qui rendent les modèles fondateurs capables sont itératifs et lents, tandis que l'interaction conversationnelle exige des réponses à l'échelle de la milliseconde. Les modèles plus petits et temps réel satisfont aux contraintes de latence mais ne peuvent égaler les modèles fondateurs sur des tâches complexes, ce qui oblige les agents vocaux actuels à sacrifier soit la réactivité, soit la capacité. Nous introduisons le remplissage conversationnel (conversational infill), où un petit modèle de parole (talker) génère immédiatement des réponses contextualisées pour masquer la latence d'un modèle de raisonnement externe (reasoner) et intègre de manière fluide les connaissances diffusées par le raisonneur dans ses réponses lors de l'inférence. Nous constituons un jeu de données synthétique de 290 571 exemples couvrant six domaines et démontrons que cette tâche est apprenable sur sept petits modèles de langage largement utilisés, allant de 135M à 1,7 milliard de paramètres. Notre implémentation système, ConvFill, maintient un délai de première réponse à l'échelle de la milliseconde tout en réduisant l'écart de précision à moins de 6,3 % des performances du raisonneur de pointe correspondant. Dans une étude utilisateur en direct (n=18) avec des modèles de parole déployés sur un SoC Apple M2, les participants classent ConvFill au même niveau que les modèles de pointe dans l'ensemble, le préfèrent pour les tâches lourdes en récupération et le jugent significativement plus réactif. Ces résultats montrent que le remplissage conversationnel ouvre un nouveau point sur la frontière de Pareto latence-capacité, offrant une voie pratique vers des agents vocaux à la fois réactifs et hautement capables. Le code, les modèles et les ensembles de données sont disponibles à l'adresse https://github.com/vysri/conversational-infill.

English

Voice agents face a fundamental tension: the reasoning, retrieval, and tool use that make foundation models capable are iterative and slow, while conversational interaction demands responses on a millisecond timescale. Smaller, real-time models meet the latency bar but cannot match foundation models on complex tasks, leaving current voice agents to trade away either responsiveness or capability. We introduce conversational infill, where a small talker model both immediately generates contextually grounded responses to hide the latency of an external reasoner model and fluently integrates streamed reasoner knowledge into its responses during inference. We curate a 290,571-example synthetic dataset spanning six domains and demonstrate that this task is learnable across seven widely used small language models ranging from 135M to 1.7B parameters. Our system implementation, ConvFill, sustains millisecond-level time-to-first-response while closing the accuracy gap to within 6.3% of the corresponding frontier reasoner performance. In a live user study (n=18) with talker deployments running on an Apple M2 SoC, participants rank ConvFill on par with frontier models overall, prefer it for retrieval-heavy tasks, and rate it significantly more responsive. These results show that conversational infill unlocks a new point on the latency-capability Pareto frontier, offering a practical path toward voice agents that are both responsive and highly capable. Code, models, and datasets are available at https://github.com/vysri/conversational-infill.