SHANKS: Simultanes Hören und Denken für gesprochene Sprachmodelle

papers.abstract

Aktuelle große Sprachmodelle (LLMs) und gesprochene Sprachmodelle (SLMs) beginnen erst zu denken und Aktionen auszuführen, nachdem der Benutzer seinen Zug beendet hat. Dies verhindert, dass das Modell während des Benutzerzugs interagiert, und kann zu hoher Antwortlatenz führen, während es darauf wartet, zu denken. Folglich ist das Denken nach Erhalt der vollständigen Eingabe für die Sprach-zu-Sprach-Interaktion ungeeignet, bei der ein Echtzeit-Austausch mit niedriger Latenz wichtig ist. Wir gehen dieses Problem an, indem wir feststellen, dass Menschen natürlich „während des Zuhörens denken“. In diesem Artikel schlagen wir SHANKS vor, ein allgemeines Inferenzframework, das SLMs ermöglicht, unausgesprochene Ketten von Gedanken (Chain-of-Thought Reasoning) zu generieren, während sie die Benutzereingabe hören. SHANKS streamt die Spracheingabe in festen Zeitabschnitten und generiert, sobald ein Abschnitt empfangen wird, unausgesprochenes Reasoning basierend auf allen vorherigen Sprach- und Denkprozessen, während der Benutzer weiter spricht. SHANKS nutzt dieses unausgesprochene Reasoning, um zu entscheiden, ob der Benutzer unterbrochen werden soll und um Werkzeugaufrufe zur Aufgabenbearbeitung durchzuführen. Wir zeigen, dass SHANKS die Echtzeit-Interaktion zwischen Benutzer und SLM in zwei Szenarien verbessert: (1) Wenn der Benutzer eine schrittweise Lösung für ein mathematisches Problem präsentiert, kann SHANKS zuhören, denken und unterbrechen, wenn der Benutzer einen Fehler macht, und erreicht dabei eine 37,1 % höhere Unterbrechungsgenauigkeit als ein Baseline-Modell, das ohne Denken unterbricht; und (2) in einem werkzeuggestützten Dialog kann SHANKS 56,9 % der Werkzeugaufrufe abschließen, bevor der Benutzer seinen Zug beendet. Insgesamt bewegt sich SHANKS in Richtung von Modellen, die während des gesamten Gesprächs denken, nicht nur nach dem Ende eines Zugs. Animierte Illustrationen von SHANKS finden Sie unter https://d223302.github.io/SHANKS/.

English

Current large language models (LLMs) and spoken language models (SLMs) begin thinking and taking actions only after the user has finished their turn. This prevents the model from interacting during the user's turn and can lead to high response latency while it waits to think. Consequently, thinking after receiving the full input is not suitable for speech-to-speech interaction, where real-time, low-latency exchange is important. We address this by noting that humans naturally "think while listening." In this paper, we propose SHANKS, a general inference framework that enables SLMs to generate unspoken chain-of-thought reasoning while listening to the user input. SHANKS streams the input speech in fixed-duration chunks and, as soon as a chunk is received, generates unspoken reasoning based on all previous speech and reasoning, while the user continues speaking. SHANKS uses this unspoken reasoning to decide whether to interrupt the user and to make tool calls to complete the task. We demonstrate that SHANKS enhances real-time user-SLM interaction in two scenarios: (1) when the user is presenting a step-by-step solution to a math problem, SHANKS can listen, reason, and interrupt when the user makes a mistake, achieving 37.1% higher interruption accuracy than a baseline that interrupts without thinking; and (2) in a tool-augmented dialogue, SHANKS can complete 56.9% of the tool calls before the user finishes their turn. Overall, SHANKS moves toward models that keep thinking throughout the conversation, not only after a turn ends. Animated illustrations of Shanks can be found at https://d223302.github.io/SHANKS/

SHANKS: Simultanes Hören und Denken für gesprochene Sprachmodelle

SHANKS: Simultaneous Hearing and Thinking for Spoken Language Models

papers.abstract

Support