Audio-interactiemodel

Samenvatting

Audio is een inherent interactieve modaliteit, maar de huidige Large Audio Language Models (LALMs) zijn offline en streaming audiomodellen voeren elk slechts één taak uit, zoals streaming ASR of voice-chat. Het is tijd om ze te verenigen in één online LALM: een model dat via een continu actieve waarneming-beslissing-responslus in realtime naar geluid, omgeving en instructies luistert en onmiddellijk reageert. We formaliseren dit regime als het Audio Interaction Model en realiseren het met Audio-Interaction, een uniform streamingmodel dat offline taakuitvoering behoudt en tegelijkertijd online algemene audio-instructie-opvolging toevoegt, van dialoog tot volledige voice-chat, waarbij wordt besloten wanneer te reageren op basis van de semantiek van de stream. Om dit mogelijk te maken, stellen we SoundFlow voor, een framework dat de waarneming-beslissing-responslus van begin tot eind implementeert, van data tot training tot implementatie, via streaming-native dataconstructie, begripsbewuste training en asynchrone lage-latentie-inferentie voor stabiele realtime-interactie. We construeren verder StreamAudio-2M, een streamingcorpus van 2,6 miljoen items dat 7 fundamentele vaardigheden en 28 deeltaken omvat, en Proactive-Sound-Bench voor het evalueren van proactieve audio-interventie. Over 8 benchmarks behoudt Audio-Interaction concurrerende prestaties op reguliere audiotaken, terwijl het mogelijkheden ontsluit die ontoegankelijk zijn voor offline LALMs, waaronder realtime ASR, streaming audio-instructie-opvolging en proactieve hulp.

English

Audio is an inherently interactive modality, yet today's Large Audio Language Models (LALMs) are offline, and streaming audio models each handle only a single task such as streaming ASR or voice chatting. It is time to unify them into one online LALM: a model that, through an always-on perceive-decide-respond loop, listens to sound, environment, and instructions in real time and reacts on the fly. We formalize this regime as the Audio Interaction Model, and realize it with Audio-Interaction, a unified streaming model that retains offline task execution while adding online general audio instruction following, from dialogue to full voice chatting, deciding when to respond from the semantics of the stream. To enable this, we propose SoundFlow, a framework that instantiates the perceive-decide-respond loop end to end, from data to training to deployment, through streaming-native data construction, comprehension-aware training, and asynchronous low-latency inference for stable real-time interaction. We further construct StreamAudio-2M, a 2.6M-item streaming corpus spanning 7 fundamental abilities and 28 sub-tasks, and Proactive-Sound-Bench for evaluating proactive audio intervention. Across 8 benchmarks, Audio-Interaction preserves competitive performance on mainstream audio tasks while unlocking capabilities inaccessible to offline LALMs, including real-time ASR, streaming audio instruction following, and proactive help.