Modelo de Interação de Áudio

Resumo

O áudio é uma modalidade inerentemente interativa, mas os atuais Modelos de Linguagem de Áudio de Grande Escala (LALMs) são offline, e os modelos de áudio em streaming lidam cada um com uma única tarefa, como ASR em streaming ou conversação por voz. Chegou o momento de unificá-los em um LALM online: um modelo que, por meio de um loop contínuo do tipo perceber-decidir-responder, escuta sons, ambientes e instruções em tempo real e reage instantaneamente. Formalizamos esse regime como Modelo de Interação de Áudio e o concretizamos com o Audio-Interaction, um modelo de streaming unificado que mantém a execução de tarefas offline enquanto adiciona o seguimento de instruções gerais de áudio online, desde diálogo até conversação por voz completa, decidindo quando responder com base na semântica do fluxo. Para viabilizar isso, propomos o SoundFlow, uma estrutura que instancia o loop perceber-decidir-responder de ponta a ponta, desde os dados até o treinamento e a implantação, por meio de construção de dados nativa de streaming, treinamento consciente de compreensão e inferência assíncrona de baixa latência para interação estável em tempo real. Além disso, construímos o StreamAudio-2M, um corpus de streaming com 2,6 milhões de itens abrangendo 7 habilidades fundamentais e 28 subtarefas, e o Proactive-Sound-Bench para avaliar a intervenção proativa de áudio. Em 8 referências, o Audio-Interaction mantém desempenho competitivo em tarefas principais de áudio, ao mesmo tempo que desbloqueia capacidades inacessíveis para LALMs offline, incluindo ASR em tempo real, seguimento de instruções de áudio em streaming e ajuda proativa.

English

Audio is an inherently interactive modality, yet today's Large Audio Language Models (LALMs) are offline, and streaming audio models each handle only a single task such as streaming ASR or voice chatting. It is time to unify them into one online LALM: a model that, through an always-on perceive-decide-respond loop, listens to sound, environment, and instructions in real time and reacts on the fly. We formalize this regime as the Audio Interaction Model, and realize it with Audio-Interaction, a unified streaming model that retains offline task execution while adding online general audio instruction following, from dialogue to full voice chatting, deciding when to respond from the semantics of the stream. To enable this, we propose SoundFlow, a framework that instantiates the perceive-decide-respond loop end to end, from data to training to deployment, through streaming-native data construction, comprehension-aware training, and asynchronous low-latency inference for stable real-time interaction. We further construct StreamAudio-2M, a 2.6M-item streaming corpus spanning 7 fundamental abilities and 28 sub-tasks, and Proactive-Sound-Bench for evaluating proactive audio intervention. Across 8 benchmarks, Audio-Interaction preserves competitive performance on mainstream audio tasks while unlocking capabilities inaccessible to offline LALMs, including real-time ASR, streaming audio instruction following, and proactive help.