SHANKS: Simultaan Horen en Denken voor Gesproken Taalmodellen

Samenvatting

Huidige grote taalmodellen (LLM's) en gesproken taalmodellen (SLM's) beginnen pas met denken en acties ondernemen nadat de gebruiker zijn beurt heeft afgerond. Dit voorkomt dat het model tijdens de beurt van de gebruiker kan interacteren en kan leiden tot een hoge reactielatentie terwijl het wacht om te denken. Als gevolg hiervan is denken na het ontvangen van de volledige invoer niet geschikt voor spraak-naar-spraak-interactie, waarbij real-time, low-latency uitwisseling belangrijk is. Wij pakken dit aan door op te merken dat mensen van nature "denken terwijl ze luisteren." In dit artikel stellen we SHANKS voor, een algemeen inferentiekader dat SLM's in staat stelt om onuitgesproken keten-van-gedachten-redeneringen te genereren terwijl ze naar de gebruikersinvoer luisteren. SHANKS streamt de ingesproken invoer in vaste tijdsblokken en genereert, zodra een blok is ontvangen, onuitgesproken redeneringen op basis van alle voorgaande spraak en redeneringen, terwijl de gebruiker blijft spreken. SHANKS gebruikt deze onuitgesproken redeneringen om te beslissen of de gebruiker onderbroken moet worden en om toolaanroepen te doen om de taak te voltooien. We demonstreren dat SHANKS real-time interactie tussen gebruiker en SLM verbetert in twee scenario's: (1) wanneer de gebruiker een stap-voor-stap oplossing voor een wiskundig probleem presenteert, kan SHANKS luisteren, redeneren en onderbreken wanneer de gebruiker een fout maakt, wat resulteert in 37,1% hogere onderbreeknauwkeurigheid dan een baseline die onderbreekt zonder te denken; en (2) in een tool-augmented dialoog kan SHANKS 56,9% van de toolaanroepen voltooien voordat de gebruiker zijn beurt afrondt. Over het algemeen beweegt SHANKS zich richting modellen die blijven denken gedurende het hele gesprek, niet alleen nadat een beurt eindigt. Geanimeerde illustraties van SHANKS zijn te vinden op https://d223302.github.io/SHANKS/

English

Current large language models (LLMs) and spoken language models (SLMs) begin thinking and taking actions only after the user has finished their turn. This prevents the model from interacting during the user's turn and can lead to high response latency while it waits to think. Consequently, thinking after receiving the full input is not suitable for speech-to-speech interaction, where real-time, low-latency exchange is important. We address this by noting that humans naturally "think while listening." In this paper, we propose SHANKS, a general inference framework that enables SLMs to generate unspoken chain-of-thought reasoning while listening to the user input. SHANKS streams the input speech in fixed-duration chunks and, as soon as a chunk is received, generates unspoken reasoning based on all previous speech and reasoning, while the user continues speaking. SHANKS uses this unspoken reasoning to decide whether to interrupt the user and to make tool calls to complete the task. We demonstrate that SHANKS enhances real-time user-SLM interaction in two scenarios: (1) when the user is presenting a step-by-step solution to a math problem, SHANKS can listen, reason, and interrupt when the user makes a mistake, achieving 37.1% higher interruption accuracy than a baseline that interrupts without thinking; and (2) in a tool-augmented dialogue, SHANKS can complete 56.9% of the tool calls before the user finishes their turn. Overall, SHANKS moves toward models that keep thinking throughout the conversation, not only after a turn ends. Animated illustrations of Shanks can be found at https://d223302.github.io/SHANKS/

SHANKS: Simultaan Horen en Denken voor Gesproken Taalmodellen

SHANKS: Simultaneous Hearing and Thinking for Spoken Language Models

Samenvatting

Support