EvMic: Eventgebaseerd niet-contactgeluidherstel door effectieve ruimtelijk-temporele modellering

EvMic: Event-based Non-contact sound recovery from effective spatial-temporal modeling

April 3, 2025

Auteurs: Hao Yin, Shi Guo, Xu Jia, Xudong XU, Lu Zhang, Si Liu, Dong Wang, Huchuan Lu, Tianfan Xue

cs.AI

Samenvatting

Wanneer geluidsgolven een object raken, veroorzaken ze trillingen die hoogfrequente en subtiele visuele veranderingen produceren, die kunnen worden gebruikt om het geluid te reconstrueren. Vroege studies kampen altijd met afwegingen gerelateerd aan de bemonsteringsfrequentie, bandbreedte, gezichtsveld en de eenvoud van het optische pad. Recente vooruitgang in de hardware van eventcamera's toont veelbelovend potentieel voor toepassing in visuele geluidsreconstructie, vanwege hun superieure vermogen om hoogfrequente signalen vast te leggen. Bestaande methoden voor trillingsreconstructie op basis van events zijn echter nog steeds suboptimaal voor geluidsreconstructie. In dit werk stellen we een nieuwe pijplijn voor voor contactloze geluidsreconstructie, waarbij ruimtelijk-temporele informatie uit de eventstroom volledig wordt benut. We genereren eerst een grote trainingsset met behulp van een nieuwe simulatiepijplijn. Vervolgens ontwerpen we een netwerk dat gebruikmaakt van de spaarzaamheid van events om ruimtelijke informatie vast te leggen en Mamba gebruikt om langetermijntemporele informatie te modelleren. Ten slotte trainen we een ruimtelijk aggregatieblok om informatie van verschillende locaties te aggregeren en zo de signaalkwaliteit verder te verbeteren. Om eventsignalen veroorzaakt door geluidsgolven vast te leggen, hebben we ook een beeldvormingssysteem ontworpen met behulp van een lasermatrix om het gradiënt te versterken en hebben we meerdere datasequenties verzameld voor testen. Experimentele resultaten op synthetische en real-world data demonstreren de effectiviteit van onze methode.

English

When sound waves hit an object, they induce vibrations that produce high-frequency and subtle visual changes, which can be used for recovering the sound. Early studies always encounter trade-offs related to sampling rate, bandwidth, field of view, and the simplicity of the optical path. Recent advances in event camera hardware show good potential for its application in visual sound recovery, because of its superior ability in capturing high-frequency signals. However, existing event-based vibration recovery methods are still sub-optimal for sound recovery. In this work, we propose a novel pipeline for non-contact sound recovery, fully utilizing spatial-temporal information from the event stream. We first generate a large training set using a novel simulation pipeline. Then we designed a network that leverages the sparsity of events to capture spatial information and uses Mamba to model long-term temporal information. Lastly, we train a spatial aggregation block to aggregate information from different locations to further improve signal quality. To capture event signals caused by sound waves, we also designed an imaging system using a laser matrix to enhance the gradient and collected multiple data sequences for testing. Experimental results on synthetic and real-world data demonstrate the effectiveness of our method.