Denken während des Sprechens: Wissenstransfer zur Inferenzzeit für reaktionsschnelle und intelligente konversationelle Sprachagenten

Zusammenfassung

Sprachagenten stehen vor einem grundlegenden Dilemma: Die für leistungsfähige Foundation-Modelle erforderlichen Schritte des Reasoning, Retrieval und Tool Use sind iterativ und langsam, während die Konversation Antworten im Millisekundenbereich erfordert. Kleinere Echtzeitmodelle erfüllen die Latenzanforderungen, können aber bei komplexen Aufgaben nicht mit Foundation-Modellen mithalten, sodass aktuelle Sprachagenten entweder auf Reaktionsfähigkeit oder Leistungsfähigkeit verzichten müssen. Wir führen die konversationelle Einfügung (Conversational Infill) ein, bei der ein kleines Talker-Modell sowohl sofort kontextbezogene Antworten generiert, um die Latenz eines externen Reasoner-Modells zu verbergen, als auch während der Inferenz fließend gestreamtes Reasoner-Wissen in seine Antworten einbindet. Wir erstellen einen synthetischen Datensatz mit 290.571 Beispielen aus sechs Bereichen und zeigen, dass diese Aufgabe mit sieben weit verbreiteten kleinen Sprachmodellen (135 Mio. bis 1,7 Mrd. Parameter) erlernbar ist. Unsere Systemimplementierung ConvFill hält die Zeit bis zur ersten Antwort im Millisekundenbereich, während die Genauigkeitslücke auf unter 6,3 % der entsprechenden Frontier-Reasoner-Leistung geschlossen wird. In einer Live-Nutzerstudie (n=18) mit Talker-Bereitstellungen auf einem Apple M2 SoC bewerten die Teilnehmer ConvFill insgesamt als gleichwertig mit Frontier-Modellen, bevorzugen es für retrieval-intensive Aufgaben und stufen es als signifikant reaktionsschneller ein. Diese Ergebnisse zeigen, dass konversationelle Einfügung einen neuen Punkt auf der Latenz-Leistungsfähigkeits-Pareto-Grenze erschließt und einen praktischen Weg zu Sprachagenten bietet, die sowohl reaktionsschnell als auch hochleistungsfähig sind. Code, Modelle und Datensätze sind verfügbar unter https://github.com/vysri/conversational-infill.

English

Voice agents face a fundamental tension: the reasoning, retrieval, and tool use that make foundation models capable are iterative and slow, while conversational interaction demands responses on a millisecond timescale. Smaller, real-time models meet the latency bar but cannot match foundation models on complex tasks, leaving current voice agents to trade away either responsiveness or capability. We introduce conversational infill, where a small talker model both immediately generates contextually grounded responses to hide the latency of an external reasoner model and fluently integrates streamed reasoner knowledge into its responses during inference. We curate a 290,571-example synthetic dataset spanning six domains and demonstrate that this task is learnable across seven widely used small language models ranging from 135M to 1.7B parameters. Our system implementation, ConvFill, sustains millisecond-level time-to-first-response while closing the accuracy gap to within 6.3% of the corresponding frontier reasoner performance. In a live user study (n=18) with talker deployments running on an Apple M2 SoC, participants rank ConvFill on par with frontier models overall, prefer it for retrieval-heavy tasks, and rate it significantly more responsive. These results show that conversational infill unlocks a new point on the latency-capability Pareto frontier, offering a practical path toward voice agents that are both responsive and highly capable. Code, models, and datasets are available at https://github.com/vysri/conversational-infill.