AuralSAM2: SAM2 in staat stellen te horen via piramidevormige audiovisuele feature prompting

Samenvatting

Segment Anything Model 2 (SAM2) vertoont een sterke generalisatie voor promptbare segmentatie in videoclips; de integratie met de audiomodaliteit blijft echter nog onderbelicht. Bestaande benaderingen zetten audio via funderingsmodellen om in visuele prompts (bijv. bounding boxes) of injecteren adapters in de beeldencoder voor audiovisuele fusie. Beide richtingen schieten echter tekort in human-in-the-loop-scenario’s vanwege beperkte promptnauwkeurigheid en verhoogde inferentie-overhead. Deze op adapters gebaseerde methoden lijden in het bijzonder onder audio-promptverdunning, waarbij het signaal geleidelijk verzwakt naarmate het zich door het netwerk verspreidt. In dit werk stellen we AuralSAM2 voor, dat audio integreert in SAM2 terwijl de promptbare segmentatiecapaciteit grotendeels behouden blijft. De kernmodule, AuralFuser, fuseert audio- en visuele kenmerken om schaarse en dichte prompts te genereren. Geleid door audio en voortbouwend op de kenmerkenpiramide van SAM2 verspreiden deze prompts auditieve cues over de visuele lagen, waardoor de cross-modale invloed wordt versterkt. Om de modaliteiten verder op elkaar af te stemmen introduceren we een audio-gestuurd contrastief verlies dat auditieve relevantie benadrukt in dominante visuele kenmerken. Onze methode behaalt opmerkelijke nauwkeurigheidswinst op openbare benchmarks, met slechts minimale impact op de interactieve efficiëntie van promptbare segmentatie. Onze code is beschikbaar op https://github.com/yyliu01/AuralSAM2.

English

Segment Anything Model 2 (SAM2) exhibits strong generalisation for promptable segmentation in video clips; however, its integration with the audio modality remains underexplored. Existing approaches either convert audio into visual prompts (e.g., boxes) via foundation models, or inject adapters into the image encoder for audio-visual fusion. Yet both directions fall short in human-in-the-loop scenarios due to limited prompt accuracy and increased inference overhead. In particular, these adapter-based methods often suffer from audio prompt dilution, where the signal gradually weakens as it propagates through the network. In this work, we propose AuralSAM2, which integrates audio into SAM2 while largely preserving its promptable segmentation capability. Its core module, AuralFuser, fuses audio and visual features to generate sparse and dense prompts. Guided by audio and built upon SAM2's feature pyramid, these prompts propagate auditory cues across visual layers, reinforcing cross-modal influence. To further align modalities, we introduce an audio-guided contrastive loss that emphasises auditory relevance in dominant visual features. Our method achieves notable accuracy gains on public benchmarks with only minimal impact on the interactive efficiency of promptable segmentation. Our code is available at https://github.com/yyliu01/AuralSAM2.