Modèle d'interaction audio

Résumé

L'audio est une modalité intrinsèquement interactive, pourtant les grands modèles audio-langagiers (LALMs) actuels sont hors ligne, et les modèles audio en streaming ne gèrent chacun qu'une seule tâche, comme la reconnaissance automatique de la parole (ASR) en continu ou les conversations vocales. Il est temps de les unifier en un seul LALM en ligne : un modèle qui, via une boucle toujours active de perception-décision-réponse, écoute le son, l'environnement et les instructions en temps réel et réagit à la volée. Nous formalisons ce régime sous le nom de modèle d'interaction audio, et le concrétisons avec Audio-Interaction, un modèle de streaming unifié qui conserve l'exécution de tâches hors ligne tout en ajoutant le suivi d'instructions audio générales en ligne, du dialogue aux conversations vocales complètes, en décidant quand répondre à partir de la sémantique du flux. Pour y parvenir, nous proposons SoundFlow, un cadre qui instancie la boucle perception-décision-réponse de bout en bout, des données à l'entraînement au déploiement, grâce à une construction de données native au streaming, un entraînement tenant compte de la compréhension, et une inférence asynchrone à faible latence pour une interaction en temps réel stable. Nous construisons également StreamAudio-2M, un corpus de streaming de 2,6 millions d'éléments couvrant 7 capacités fondamentales et 28 sous-tâches, et Proactive-Sound-Bench pour évaluer l'intervention audio proactive. Sur 8 benchmarks, Audio-Interaction conserve des performances compétitives sur les tâches audio courantes tout en débloquant des capacités inaccessibles aux LALMs hors ligne, notamment l'ASR en temps réel, le suivi d'instructions audio en streaming et l'aide proactive.

English

Audio is an inherently interactive modality, yet today's Large Audio Language Models (LALMs) are offline, and streaming audio models each handle only a single task such as streaming ASR or voice chatting. It is time to unify them into one online LALM: a model that, through an always-on perceive-decide-respond loop, listens to sound, environment, and instructions in real time and reacts on the fly. We formalize this regime as the Audio Interaction Model, and realize it with Audio-Interaction, a unified streaming model that retains offline task execution while adding online general audio instruction following, from dialogue to full voice chatting, deciding when to respond from the semantics of the stream. To enable this, we propose SoundFlow, a framework that instantiates the perceive-decide-respond loop end to end, from data to training to deployment, through streaming-native data construction, comprehension-aware training, and asynchronous low-latency inference for stable real-time interaction. We further construct StreamAudio-2M, a 2.6M-item streaming corpus spanning 7 fundamental abilities and 28 sub-tasks, and Proactive-Sound-Bench for evaluating proactive audio intervention. Across 8 benchmarks, Audio-Interaction preserves competitive performance on mainstream audio tasks while unlocking capabilities inaccessible to offline LALMs, including real-time ASR, streaming audio instruction following, and proactive help.