SHANKS: Одновременное восприятие и мышление для моделей разговорного языка

SHANKS: Simultaneous Hearing and Thinking for Spoken Language Models

October 8, 2025

Авторы: Cheng-Han Chiang, Xiaofei Wang, Linjie Li, Chung-Ching Lin, Kevin Lin, Shujie Liu, Zhendong Wang, Zhengyuan Yang, Hung-yi Lee, Lijuan Wang

cs.AI

Аннотация

Современные крупные языковые модели (LLM) и модели разговорной речи (SLM) начинают думать и действовать только после того, как пользователь завершил свою реплику. Это препятствует взаимодействию модели во время реплики пользователя и может привести к высокой задержке ответа, пока модель ожидает завершения ввода для начала обработки. Следовательно, обработка после получения полного ввода не подходит для речевого взаимодействия, где важны реальное время и низкая задержка. Мы решаем эту проблему, отмечая, что люди естественным образом "думают во время слушания". В данной статье мы предлагаем SHANKS — общий фреймворк для вывода, который позволяет SLM генерировать неозвученную цепочку рассуждений во время прослушивания ввода пользователя. SHANKS обрабатывает входную речь фрагментами фиксированной длительности и, как только фрагмент получен, генерирует неозвученные рассуждения на основе всей предыдущей речи и рассуждений, пока пользователь продолжает говорить. SHANKS использует эти неозвученные рассуждения для принятия решения о прерывании пользователя и вызова инструментов для выполнения задачи. Мы демонстрируем, что SHANKS улучшает взаимодействие пользователя и SLM в реальном времени в двух сценариях: (1) когда пользователь представляет пошаговое решение математической задачи, SHANKS может слушать, рассуждать и прерывать, если пользователь допускает ошибку, достигая на 37,1% более высокой точности прерывания по сравнению с базовым подходом, который прерывает без рассуждений; и (2) в диалоге с использованием инструментов SHANKS может завершить 56,9% вызовов инструментов до того, как пользователь закончит свою реплику. В целом, SHANKS продвигает модели, которые продолжают думать на протяжении всего разговора, а не только после завершения реплики. Анимированные иллюстрации SHANKS можно найти по адресу https://d223302.github.io/SHANKS/.

English

Current large language models (LLMs) and spoken language models (SLMs) begin thinking and taking actions only after the user has finished their turn. This prevents the model from interacting during the user's turn and can lead to high response latency while it waits to think. Consequently, thinking after receiving the full input is not suitable for speech-to-speech interaction, where real-time, low-latency exchange is important. We address this by noting that humans naturally "think while listening." In this paper, we propose SHANKS, a general inference framework that enables SLMs to generate unspoken chain-of-thought reasoning while listening to the user input. SHANKS streams the input speech in fixed-duration chunks and, as soon as a chunk is received, generates unspoken reasoning based on all previous speech and reasoning, while the user continues speaking. SHANKS uses this unspoken reasoning to decide whether to interrupt the user and to make tool calls to complete the task. We demonstrate that SHANKS enhances real-time user-SLM interaction in two scenarios: (1) when the user is presenting a step-by-step solution to a math problem, SHANKS can listen, reason, and interrupt when the user makes a mistake, achieving 37.1% higher interruption accuracy than a baseline that interrupts without thinking; and (2) in a tool-augmented dialogue, SHANKS can complete 56.9% of the tool calls before the user finishes their turn. Overall, SHANKS moves toward models that keep thinking throughout the conversation, not only after a turn ends. Animated illustrations of Shanks can be found at https://d223302.github.io/SHANKS/