AAD-LLM: Comprensión de Escenas Auditivas Basada en Atención Neuronal

AAD-LLM: Neural Attention-Driven Auditory Scene Understanding

February 24, 2025

Autores: Xilin Jiang, Sukru Samet Dindar, Vishal Choudhari, Stephan Bickel, Ashesh Mehta, Guy M McKhann, Adeen Flinker, Daniel Friedman, Nima Mesgarani

cs.AI

Resumen

Los modelos fundamentales auditivos, incluidos los modelos de lenguaje extenso (LLM) auditivos, procesan todas las entradas de sonido por igual, independientemente de la percepción del oyente. Sin embargo, la percepción auditiva humana es inherentemente selectiva: los oyentes se enfocan en hablantes específicos mientras ignoran a otros en escenas auditivas complejas. Los modelos existentes no incorporan esta selectividad, lo que limita su capacidad para generar respuestas alineadas con la percepción. Para abordar esto, presentamos la Comprensión de Escenas Auditivas Informada por la Intención (II-ASU) y el LLM Guiado por la Atención Auditiva (AAD-LLM), un sistema prototipo que integra señales cerebrales para inferir la atención del oyente. AAD-LLM extiende un LLM auditivo al incorporar grabaciones de electroencefalografía intracraneal (iEEG) para decodificar a qué hablante está prestando atención el oyente y refinar las respuestas en consecuencia. El modelo primero predice el hablante atendido a partir de la actividad neural, luego condiciona la generación de respuestas en este estado de atención inferido. Evaluamos AAD-LLM en la descripción de hablantes, la transcripción y extracción de habla, y la respuesta a preguntas en escenarios con múltiples hablantes, con calificaciones tanto objetivas como subjetivas que muestran una mejor alineación con la intención del oyente. Al dar un primer paso hacia la IA auditiva consciente de la intención, este trabajo explora un nuevo paradigma en el que la percepción del oyente informa la escucha automática, allanando el camino para futuros sistemas auditivos centrados en el oyente. Demostración y código disponibles: https://aad-llm.github.io.

English

Auditory foundation models, including auditory large language models (LLMs), process all sound inputs equally, independent of listener perception. However, human auditory perception is inherently selective: listeners focus on specific speakers while ignoring others in complex auditory scenes. Existing models do not incorporate this selectivity, limiting their ability to generate perception-aligned responses. To address this, we introduce Intention-Informed Auditory Scene Understanding (II-ASU) and present Auditory Attention-Driven LLM (AAD-LLM), a prototype system that integrates brain signals to infer listener attention. AAD-LLM extends an auditory LLM by incorporating intracranial electroencephalography (iEEG) recordings to decode which speaker a listener is attending to and refine responses accordingly. The model first predicts the attended speaker from neural activity, then conditions response generation on this inferred attentional state. We evaluate AAD-LLM on speaker description, speech transcription and extraction, and question answering in multitalker scenarios, with both objective and subjective ratings showing improved alignment with listener intention. By taking a first step toward intention-aware auditory AI, this work explores a new paradigm where listener perception informs machine listening, paving the way for future listener-centered auditory systems. Demo and code available: https://aad-llm.github.io.