EvMic: Ereignisbasierte berührungslose Schallrückgewinnung durch effektive raumzeitliche Modellierung

EvMic: Event-based Non-contact sound recovery from effective spatial-temporal modeling

April 3, 2025

Autoren: Hao Yin, Shi Guo, Xu Jia, Xudong XU, Lu Zhang, Si Liu, Dong Wang, Huchuan Lu, Tianfan Xue

cs.AI

Zusammenfassung

Wenn Schallwellen auf ein Objekt treffen, induzieren sie Vibrationen, die hochfrequente und subtile visuelle Veränderungen erzeugen, die zur Wiederherstellung des Schalls genutzt werden können. Frühere Studien stoßen stets auf Kompromisse in Bezug auf Abtastrate, Bandbreite, Sichtfeld und die Einfachheit des optischen Pfads. Jüngste Fortschritte in der Event-Kamera-Hardware zeigen ein großes Potenzial für deren Anwendung in der visuellen Schallwiederherstellung, da sie über eine überlegene Fähigkeit zur Erfassung hochfrequenter Signale verfügt. Allerdings sind bestehende, auf Ereignissen basierende Methoden zur Vibrationswiederherstellung für die Schallwiederherstellung noch nicht optimal. In dieser Arbeit schlagen wir eine neuartige Pipeline zur berührungslosen Schallwiederherstellung vor, die räumlich-zeitliche Informationen aus dem Ereignisstrom vollständig nutzt. Zunächst generieren wir einen großen Trainingsdatensatz mithilfe einer neuartigen Simulationspipeline. Dann entwerfen wir ein Netzwerk, das die Sparsity von Ereignissen nutzt, um räumliche Informationen zu erfassen, und Mamba verwendet, um langfristige zeitliche Informationen zu modellieren. Schließlich trainieren wir einen räumlichen Aggregationsblock, um Informationen aus verschiedenen Positionen zu aggregieren und die Signalqualität weiter zu verbessern. Um Ereignissignale, die durch Schallwellen verursacht werden, zu erfassen, haben wir auch ein Bildgebungssystem mit einer Lasermatrix entworfen, um den Gradienten zu verstärken, und mehrere Datensequenzen für Tests gesammelt. Experimentelle Ergebnisse auf synthetischen und realen Daten demonstrieren die Wirksamkeit unserer Methode.

English

When sound waves hit an object, they induce vibrations that produce high-frequency and subtle visual changes, which can be used for recovering the sound. Early studies always encounter trade-offs related to sampling rate, bandwidth, field of view, and the simplicity of the optical path. Recent advances in event camera hardware show good potential for its application in visual sound recovery, because of its superior ability in capturing high-frequency signals. However, existing event-based vibration recovery methods are still sub-optimal for sound recovery. In this work, we propose a novel pipeline for non-contact sound recovery, fully utilizing spatial-temporal information from the event stream. We first generate a large training set using a novel simulation pipeline. Then we designed a network that leverages the sparsity of events to capture spatial information and uses Mamba to model long-term temporal information. Lastly, we train a spatial aggregation block to aggregate information from different locations to further improve signal quality. To capture event signals caused by sound waves, we also designed an imaging system using a laser matrix to enhance the gradient and collected multiple data sequences for testing. Experimental results on synthetic and real-world data demonstrate the effectiveness of our method.