EvMic: Восстановление бесконтактного звука на основе событий через эффективное пространственно-временное моделирование

EvMic: Event-based Non-contact sound recovery from effective spatial-temporal modeling

April 3, 2025

Авторы: Hao Yin, Shi Guo, Xu Jia, Xudong XU, Lu Zhang, Si Liu, Dong Wang, Huchuan Lu, Tianfan Xue

cs.AI

Аннотация

Когда звуковые волны воздействуют на объект, они вызывают вибрации, которые порождают высокочастотные и тонкие визуальные изменения, которые могут быть использованы для восстановления звука. Ранние исследования всегда сталкивались с компромиссами, связанными с частотой дискретизации, полосой пропускания, полем зрения и простотой оптического пути. Недавние достижения в аппаратном обеспечении событийных камер демонстрируют хороший потенциал для их применения в восстановлении визуального звука благодаря их превосходной способности захватывать высокочастотные сигналы. Однако существующие методы восстановления вибраций на основе событий всё ещё не оптимальны для восстановления звука. В данной работе мы предлагаем новый подход для бесконтактного восстановления звука, полностью использующий пространственно-временную информацию из потока событий. Сначала мы создаём большой набор данных для обучения с помощью нового симуляционного подхода. Затем мы разрабатываем сеть, которая использует разреженность событий для захвата пространственной информации и применяет Mamba для моделирования долгосрочной временной информации. Наконец, мы обучаем блок пространственной агрегации для объединения информации из различных мест, чтобы дополнительно улучшить качество сигнала. Для захвата событийных сигналов, вызванных звуковыми волнами, мы также разработали систему визуализации с использованием лазерной матрицы для усиления градиента и собрали несколько последовательностей данных для тестирования. Экспериментальные результаты на синтетических и реальных данных демонстрируют эффективность нашего метода.

English

When sound waves hit an object, they induce vibrations that produce high-frequency and subtle visual changes, which can be used for recovering the sound. Early studies always encounter trade-offs related to sampling rate, bandwidth, field of view, and the simplicity of the optical path. Recent advances in event camera hardware show good potential for its application in visual sound recovery, because of its superior ability in capturing high-frequency signals. However, existing event-based vibration recovery methods are still sub-optimal for sound recovery. In this work, we propose a novel pipeline for non-contact sound recovery, fully utilizing spatial-temporal information from the event stream. We first generate a large training set using a novel simulation pipeline. Then we designed a network that leverages the sparsity of events to capture spatial information and uses Mamba to model long-term temporal information. Lastly, we train a spatial aggregation block to aggregate information from different locations to further improve signal quality. To capture event signals caused by sound waves, we also designed an imaging system using a laser matrix to enhance the gradient and collected multiple data sequences for testing. Experimental results on synthetic and real-world data demonstrate the effectiveness of our method.