EvMic: Recuperación de sonido sin contacto basada en eventos mediante modelado espacio-temporal efectivo

EvMic: Event-based Non-contact sound recovery from effective spatial-temporal modeling

April 3, 2025

Autores: Hao Yin, Shi Guo, Xu Jia, Xudong XU, Lu Zhang, Si Liu, Dong Wang, Huchuan Lu, Tianfan Xue

cs.AI

Resumen

Cuando las ondas sonoras impactan un objeto, inducen vibraciones que producen cambios visuales de alta frecuencia y sutiles, los cuales pueden utilizarse para recuperar el sonido. Los estudios iniciales siempre enfrentan compensaciones relacionadas con la tasa de muestreo, el ancho de banda, el campo de visión y la simplicidad de la ruta óptica. Los avances recientes en hardware de cámaras de eventos muestran un buen potencial para su aplicación en la recuperación visual de sonido, debido a su capacidad superior para capturar señales de alta frecuencia. Sin embargo, los métodos existentes de recuperación de vibraciones basados en eventos aún no son óptimos para la recuperación de sonido. En este trabajo, proponemos una nueva pipeline para la recuperación de sonido sin contacto, utilizando completamente la información espacio-temporal del flujo de eventos. Primero generamos un gran conjunto de entrenamiento utilizando una novedosa pipeline de simulación. Luego diseñamos una red que aprovecha la escasez de eventos para capturar información espacial y utiliza Mamba para modelar información temporal a largo plazo. Finalmente, entrenamos un bloque de agregación espacial para consolidar información de diferentes ubicaciones y mejorar aún más la calidad de la señal. Para capturar señales de eventos causadas por ondas sonoras, también diseñamos un sistema de imágenes utilizando una matriz láser para mejorar el gradiente y recopilamos múltiples secuencias de datos para pruebas. Los resultados experimentales en datos sintéticos y del mundo real demuestran la efectividad de nuestro método.

English

When sound waves hit an object, they induce vibrations that produce high-frequency and subtle visual changes, which can be used for recovering the sound. Early studies always encounter trade-offs related to sampling rate, bandwidth, field of view, and the simplicity of the optical path. Recent advances in event camera hardware show good potential for its application in visual sound recovery, because of its superior ability in capturing high-frequency signals. However, existing event-based vibration recovery methods are still sub-optimal for sound recovery. In this work, we propose a novel pipeline for non-contact sound recovery, fully utilizing spatial-temporal information from the event stream. We first generate a large training set using a novel simulation pipeline. Then we designed a network that leverages the sparsity of events to capture spatial information and uses Mamba to model long-term temporal information. Lastly, we train a spatial aggregation block to aggregate information from different locations to further improve signal quality. To capture event signals caused by sound waves, we also designed an imaging system using a laser matrix to enhance the gradient and collected multiple data sequences for testing. Experimental results on synthetic and real-world data demonstrate the effectiveness of our method.