SHANKS: Ascolto e Pensiero Simultanei per Modelli di Linguaggio Parlato

Abstract

Gli attuali modelli linguistici di grandi dimensioni (LLM) e i modelli di linguaggio parlato (SLM) iniziano a pensare e ad agire solo dopo che l'utente ha completato il proprio turno. Ciò impedisce al modello di interagire durante il turno dell'utente e può portare a una latenza di risposta elevata mentre attende di pensare. Di conseguenza, pensare dopo aver ricevuto l'input completo non è adatto per l'interazione da voce a voce, dove è importante uno scambio in tempo reale e a bassa latenza. Affrontiamo questo problema osservando che gli esseri umani naturalmente "pensano mentre ascoltano". In questo articolo, proponiamo SHANKS, un framework di inferenza generale che consente agli SLM di generare un ragionamento a catena di pensiero non pronunciato mentre ascoltano l'input dell'utente. SHANKS trasmette il discorso in input in segmenti di durata fissa e, non appena riceve un segmento, genera un ragionamento non pronunciato basato su tutto il discorso e il ragionamento precedenti, mentre l'utente continua a parlare. SHANKS utilizza questo ragionamento non pronunciato per decidere se interrompere l'utente e per effettuare chiamate a strumenti per completare il compito. Dimostriamo che SHANKS migliora l'interazione in tempo reale tra utente e SLM in due scenari: (1) quando l'utente sta presentando una soluzione passo-passo a un problema matematico, SHANKS può ascoltare, ragionare e interrompere quando l'utente commette un errore, raggiungendo una precisione di interruzione del 37,1% superiore rispetto a una baseline che interrompe senza pensare; e (2) in un dialogo potenziato da strumenti, SHANKS può completare il 56,9% delle chiamate agli strumenti prima che l'utente finisca il proprio turno. Nel complesso, SHANKS si muove verso modelli che continuano a pensare durante l'intera conversazione, non solo dopo la fine di un turno. Illustrazioni animate di SHANKS sono disponibili all'indirizzo https://d223302.github.io/SHANKS/

English

Current large language models (LLMs) and spoken language models (SLMs) begin thinking and taking actions only after the user has finished their turn. This prevents the model from interacting during the user's turn and can lead to high response latency while it waits to think. Consequently, thinking after receiving the full input is not suitable for speech-to-speech interaction, where real-time, low-latency exchange is important. We address this by noting that humans naturally "think while listening." In this paper, we propose SHANKS, a general inference framework that enables SLMs to generate unspoken chain-of-thought reasoning while listening to the user input. SHANKS streams the input speech in fixed-duration chunks and, as soon as a chunk is received, generates unspoken reasoning based on all previous speech and reasoning, while the user continues speaking. SHANKS uses this unspoken reasoning to decide whether to interrupt the user and to make tool calls to complete the task. We demonstrate that SHANKS enhances real-time user-SLM interaction in two scenarios: (1) when the user is presenting a step-by-step solution to a math problem, SHANKS can listen, reason, and interrupt when the user makes a mistake, achieving 37.1% higher interruption accuracy than a baseline that interrupts without thinking; and (2) in a tool-augmented dialogue, SHANKS can complete 56.9% of the tool calls before the user finishes their turn. Overall, SHANKS moves toward models that keep thinking throughout the conversation, not only after a turn ends. Animated illustrations of Shanks can be found at https://d223302.github.io/SHANKS/

SHANKS: Ascolto e Pensiero Simultanei per Modelli di Linguaggio Parlato

SHANKS: Simultaneous Hearing and Thinking for Spoken Language Models

Abstract

Support