AAD-LLM: Neurale Aandacht-Gestuurde Auditieve Scène Interpretatie

AAD-LLM: Neural Attention-Driven Auditory Scene Understanding

February 24, 2025

Auteurs: Xilin Jiang, Sukru Samet Dindar, Vishal Choudhari, Stephan Bickel, Ashesh Mehta, Guy M McKhann, Adeen Flinker, Daniel Friedman, Nima Mesgarani

cs.AI

Samenvatting

Auditieve foundation models, waaronder auditieve large language models (LLM's), verwerken alle geluidsinputs op dezelfde manier, onafhankelijk van luisteraarperceptie. Menselijke auditieve perceptie is echter van nature selectief: luisteraars richten zich op specifieke sprekers terwijl ze anderen negeren in complexe auditieve scènes. Bestaande modellen nemen deze selectiviteit niet mee, wat hun vermogen beperkt om perceptie-afgestemde reacties te genereren. Om dit aan te pakken, introduceren we Intention-Informed Auditory Scene Understanding (II-ASU) en presenteren we Auditory Attention-Driven LLM (AAD-LLM), een prototypesysteem dat hersensignalen integreert om de aandacht van de luisteraar af te leiden. AAD-LLM breidt een auditieve LLM uit door intracraniële elektro-encefalografie (iEEG)-opnames te incorporeren om te decoderen naar welke spreker een luisteraar luistert en de reacties dienovereenkomstig te verfijnen. Het model voorspelt eerst de aandachtstrekkende spreker op basis van neurale activiteit en conditioneert vervolgens de reactiegeneratie op deze afgeleide aandachtstoestand. We evalueren AAD-LLM op sprekersbeschrijving, spraaktranscriptie en -extractie, en vraagbeantwoording in scenario's met meerdere sprekers, waarbij zowel objectieve als subjectieve beoordelingen een verbeterde afstemming met de intentie van de luisteraar laten zien. Door een eerste stap te zetten naar intentiebewuste auditieve AI, verkent dit werk een nieuw paradigma waarin luisteraarperceptie machine-luisteren informeert, wat de weg vrijmaakt voor toekomstige luisteraargerichte auditieve systemen. Demo en code beschikbaar: https://aad-llm.github.io.

English

Auditory foundation models, including auditory large language models (LLMs), process all sound inputs equally, independent of listener perception. However, human auditory perception is inherently selective: listeners focus on specific speakers while ignoring others in complex auditory scenes. Existing models do not incorporate this selectivity, limiting their ability to generate perception-aligned responses. To address this, we introduce Intention-Informed Auditory Scene Understanding (II-ASU) and present Auditory Attention-Driven LLM (AAD-LLM), a prototype system that integrates brain signals to infer listener attention. AAD-LLM extends an auditory LLM by incorporating intracranial electroencephalography (iEEG) recordings to decode which speaker a listener is attending to and refine responses accordingly. The model first predicts the attended speaker from neural activity, then conditions response generation on this inferred attentional state. We evaluate AAD-LLM on speaker description, speech transcription and extraction, and question answering in multitalker scenarios, with both objective and subjective ratings showing improved alignment with listener intention. By taking a first step toward intention-aware auditory AI, this work explores a new paradigm where listener perception informs machine listening, paving the way for future listener-centered auditory systems. Demo and code available: https://aad-llm.github.io.