말하면서 생각하기: 응답성과 지능을 갖춘 대화형 음성 에이전트를 위한 추론 시간 지식 전이

초록

음성 에이전트는 근본적인 긴장 관계에 직면해 있다: 기초 모델을 강력하게 만드는 추론, 검색, 도구 사용은 반복적이고 느리지만, 대화형 상호작용은 밀리초 단위의 응답 시간을 요구한다. 작고 실시간 처리 가능한 모델은 지연 시간 기준을 충족하지만 복잡한 작업에서 기초 모델을 따라잡지 못하며, 이에 따라 현재의 음성 에이전트는 응답성과 성능 사이에서 절충해야 한다. 우리는 대화형 인필(conversational infill)을 도입한다. 이 방식에서는 작은 말하기 모델(talker model)이 외부 추론 모델(reasoner model)의 지연 시간을 숨기기 위해 맥락에 맞는 응답을 즉시 생성하는 동시에, 추론 중에 스트리밍되는 추론 모델의 지식을 유창하게 통합한다. 우리는 6개 도메인에 걸친 290,571개 예제로 구성된 합성 데이터셋을 구축하였으며, 135M에서 1.7B 파라미터에 이르는 일곱 가지 널리 사용되는 소형 언어 모델에서 이 작업이 학습 가능함을 입증한다. 우리의 시스템 구현인 ConvFill은 밀리초 수준의 최초 응답 시간(first-response)을 유지하면서도 정확도 격차를 해당 최첨단 추론 모델 성능의 6.3% 이내로 좁힌다. Apple M2 SoC에서 말하기 모델을 배포한 실시간 사용자 연구(n=18)에서 참가자들은 ConvFill을 전반적으로 최첨단 모델과 동등하게 평가했으며, 검색 중심 작업에서는 이를 선호했고, 응답성에 있어서는 유의미하게 높은 평가를 내렸다. 이러한 결과는 대화형 인필이 지연 시간-성능 파레토 경계에서 새로운 지점을 열어, 응답성과 높은 성능을 모두 갖춘 음성 에이전트를 위한 실용적인 경로를 제공함을 보여준다. 코드, 모델 및 데이터셋은 https://github.com/vysri/conversational-infill 에서 확인할 수 있다.

English

Voice agents face a fundamental tension: the reasoning, retrieval, and tool use that make foundation models capable are iterative and slow, while conversational interaction demands responses on a millisecond timescale. Smaller, real-time models meet the latency bar but cannot match foundation models on complex tasks, leaving current voice agents to trade away either responsiveness or capability. We introduce conversational infill, where a small talker model both immediately generates contextually grounded responses to hide the latency of an external reasoner model and fluently integrates streamed reasoner knowledge into its responses during inference. We curate a 290,571-example synthetic dataset spanning six domains and demonstrate that this task is learnable across seven widely used small language models ranging from 135M to 1.7B parameters. Our system implementation, ConvFill, sustains millisecond-level time-to-first-response while closing the accuracy gap to within 6.3% of the corresponding frontier reasoner performance. In a live user study (n=18) with talker deployments running on an Apple M2 SoC, participants rank ConvFill on par with frontier models overall, prefer it for retrieval-heavy tasks, and rate it significantly more responsive. These results show that conversational infill unlocks a new point on the latency-capability Pareto frontier, offering a practical path toward voice agents that are both responsive and highly capable. Code, models, and datasets are available at https://github.com/vysri/conversational-infill.