Размышляя во время речи: перенос знаний на этапе инференса для отзывчивых и интеллектуальных голосовых диалоговых агентов

Аннотация

Голосовые агенты сталкиваются с фундаментальным противоречием: рассуждение, поиск информации и использование инструментов, которые делают фундаментальные модели эффективными, являются итеративными и медленными, в то время как интерактивное общение требует отклика за миллисекунды. Меньшие модели реального времени соответствуют требованиям по задержке, но не могут сравниться с фундаментальными моделями в сложных задачах, из-за чего современные голосовые агенты вынуждены жертвовать либо отзывчивостью, либо возможностями. Мы вводим понятие «конверсационного инфилла» (conversational infill), при котором малая модель-говорящий (talker model) одновременно немедленно генерирует контекстуально обоснованные ответы, скрывая задержку внешней модели-рассуждателя (reasoner model), и плавно интегрирует потоковые знания рассуждателя в свои ответы в процессе вывода. Мы подготовили синтетический набор данных из 290 571 примера, охватывающий шесть доменов, и демонстрируем, что эта задача выполнима для семи широко используемых малых языковых моделей объемом от 135M до 1.7B параметров. Наша системная реализация, ConvFill, поддерживает время до первого ответа на уровне миллисекунд, при этом сокращая разрыв в точности до 6.3% от соответствующей производительности передового рассуждателя. В живом пользовательском исследовании (n=18) с развертыванием модели-говорящего на Apple M2 SoC участники оценили ConvFill как в целом сопоставимый с передовыми моделями, отдали ему предпочтение в задачах с интенсивным поиском и сочли его значительно более отзывчивым. Эти результаты показывают, что конверсационный инфилл открывает новую точку на границе Парето между задержкой и возможностями, предлагая практический путь к созданию голосовых агентов, которые одновременно отзывчивы и высокоэффективны. Код, модели и наборы данных доступны по адресу https://github.com/vysri/conversational-infill.

English

Voice agents face a fundamental tension: the reasoning, retrieval, and tool use that make foundation models capable are iterative and slow, while conversational interaction demands responses on a millisecond timescale. Smaller, real-time models meet the latency bar but cannot match foundation models on complex tasks, leaving current voice agents to trade away either responsiveness or capability. We introduce conversational infill, where a small talker model both immediately generates contextually grounded responses to hide the latency of an external reasoner model and fluently integrates streamed reasoner knowledge into its responses during inference. We curate a 290,571-example synthetic dataset spanning six domains and demonstrate that this task is learnable across seven widely used small language models ranging from 135M to 1.7B parameters. Our system implementation, ConvFill, sustains millisecond-level time-to-first-response while closing the accuracy gap to within 6.3% of the corresponding frontier reasoner performance. In a live user study (n=18) with talker deployments running on an Apple M2 SoC, participants rank ConvFill on par with frontier models overall, prefer it for retrieval-heavy tasks, and rate it significantly more responsive. These results show that conversational infill unlocks a new point on the latency-capability Pareto frontier, offering a practical path toward voice agents that are both responsive and highly capable. Code, models, and datasets are available at https://github.com/vysri/conversational-infill.