오디오 상호작용 모델

초록

오디오는 본질적으로 상호작용적인 양식이지만, 오늘날의 대규모 오디오 언어 모델(LALM)은 오프라인 방식이며, 스트리밍 오디오 모델은 각각 스트리밍 음성 인식(ASR)이나 음성 채팅과 같은 단일 작업만 처리합니다. 이제 이를 하나의 온라인 LALM으로 통합할 때입니다. 즉, 항상 켜져 있는 인지-결정-응답 루프를 통해 소리, 환경 및 지시를 실시간으로 듣고 즉시 반응하는 모델입니다. 우리는 이 방식을 오디오 상호작용 모델(Audio Interaction Model)로 정형화하고, 이를 Audio-Interaction으로 구현합니다. 이는 통합 스트리밍 모델로, 오프라인 작업 실행을 유지하면서 대화부터 전체 음성 채팅에 이르는 일반 온라인 오디오 지시 수행과 스트림의 의미론에 기반한 응답 시점 결정을 추가합니다. 이를 가능하게 하기 위해 우리는 SoundFlow 프레임워크를 제안합니다. 이 프레임워크는 데이터에서 훈련, 배포에 이르기까지 인지-결정-응답 루프를 종단 간 구현하며, 스트리밍에 최적화된 데이터 구축, 이해 기반 훈련, 안정적인 실시간 상호작용을 위한 비동기 저지연 추론을 포함합니다. 또한 7가지 기본 능력과 28개의 하위 작업을 포괄하는 260만 개 항목의 스트리밍 코퍼스인 StreamAudio-2M과 능동적 오디오 개입을 평가하기 위한 Proactive-Sound-Bench를 구축합니다. 8개의 벤치마크에서 Audio-Interaction은 주류 오디오 작업에서 경쟁력 있는 성능을 유지하면서, 오프라인 LALM이 접근할 수 없는 실시간 ASR, 스트리밍 오디오 지시 수행, 능동적 도움 제공 등의 기능을 개방합니다.

English

Audio is an inherently interactive modality, yet today's Large Audio Language Models (LALMs) are offline, and streaming audio models each handle only a single task such as streaming ASR or voice chatting. It is time to unify them into one online LALM: a model that, through an always-on perceive-decide-respond loop, listens to sound, environment, and instructions in real time and reacts on the fly. We formalize this regime as the Audio Interaction Model, and realize it with Audio-Interaction, a unified streaming model that retains offline task execution while adding online general audio instruction following, from dialogue to full voice chatting, deciding when to respond from the semantics of the stream. To enable this, we propose SoundFlow, a framework that instantiates the perceive-decide-respond loop end to end, from data to training to deployment, through streaming-native data construction, comprehension-aware training, and asynchronous low-latency inference for stable real-time interaction. We further construct StreamAudio-2M, a 2.6M-item streaming corpus spanning 7 fundamental abilities and 28 sub-tasks, and Proactive-Sound-Bench for evaluating proactive audio intervention. Across 8 benchmarks, Audio-Interaction preserves competitive performance on mainstream audio tasks while unlocking capabilities inaccessible to offline LALMs, including real-time ASR, streaming audio instruction following, and proactive help.