EvMic : Récupération non invasive de sons basée sur des événements grâce à une modélisation spatio-temporelle efficace

EvMic: Event-based Non-contact sound recovery from effective spatial-temporal modeling

April 3, 2025

Auteurs: Hao Yin, Shi Guo, Xu Jia, Xudong XU, Lu Zhang, Si Liu, Dong Wang, Huchuan Lu, Tianfan Xue

cs.AI

Résumé

Lorsque les ondes sonores frappent un objet, elles induisent des vibrations qui produisent des changements visuels subtils et à haute fréquence, lesquels peuvent être utilisés pour reconstituer le son. Les premières études se heurtent toujours à des compromis liés au taux d'échantillonnage, à la bande passante, au champ de vision et à la simplicité du chemin optique. Les récents progrès dans le matériel des caméras événementielles montrent un bon potentiel pour leur application dans la récupération visuelle du son, grâce à leur capacité supérieure à capturer des signaux à haute fréquence. Cependant, les méthodes existantes de récupération de vibrations basées sur les événements ne sont pas encore optimales pour la récupération du son. Dans ce travail, nous proposons une nouvelle pipeline pour la récupération du son sans contact, en exploitant pleinement les informations spatio-temporelles du flux d'événements. Nous générons d'abord un grand ensemble d'entraînement en utilisant une nouvelle pipeline de simulation. Ensuite, nous avons conçu un réseau qui tire parti de la parcimonie des événements pour capturer les informations spatiales et utilise Mamba pour modéliser les informations temporelles à long terme. Enfin, nous entraînons un bloc d'agrégation spatiale pour agréger les informations provenant de différents emplacements afin d'améliorer encore la qualité du signal. Pour capturer les signaux d'événements causés par les ondes sonores, nous avons également conçu un système d'imagerie utilisant une matrice laser pour améliorer le gradient et avons collecté plusieurs séquences de données pour les tests. Les résultats expérimentaux sur des données synthétiques et réelles démontrent l'efficacité de notre méthode.

English

When sound waves hit an object, they induce vibrations that produce high-frequency and subtle visual changes, which can be used for recovering the sound. Early studies always encounter trade-offs related to sampling rate, bandwidth, field of view, and the simplicity of the optical path. Recent advances in event camera hardware show good potential for its application in visual sound recovery, because of its superior ability in capturing high-frequency signals. However, existing event-based vibration recovery methods are still sub-optimal for sound recovery. In this work, we propose a novel pipeline for non-contact sound recovery, fully utilizing spatial-temporal information from the event stream. We first generate a large training set using a novel simulation pipeline. Then we designed a network that leverages the sparsity of events to capture spatial information and uses Mamba to model long-term temporal information. Lastly, we train a spatial aggregation block to aggregate information from different locations to further improve signal quality. To capture event signals caused by sound waves, we also designed an imaging system using a laser matrix to enhance the gradient and collected multiple data sequences for testing. Experimental results on synthetic and real-world data demonstrate the effectiveness of our method.