AuralSAM2: Ermöglichung von Hörfähigkeit für SAM2 durch pyramidenförmiges Audio-Visuelles Feature Prompting

Zusammenfassung

Segment Anything Model 2 (SAM2) zeigt eine starke Generalisierung für die promptbasierte Segmentierung in Videoclips; seine Integration mit der Audiomodalität ist jedoch noch wenig erforscht. Bestehende Ansätze wandeln Audio entweder über Foundation Models in visuelle Prompts (z. B. Bounding Boxes) um oder fügen Adapter in den Bildencoder ein, um eine audiovisuelle Fusion zu erreichen. Doch beide Richtungen sind in Mensch-im-Kreislauf-Szenarien aufgrund begrenzter Prompt-Genauigkeit und erhöhtem Inferenzaufwand unzureichend. Insbesondere leiden diese adapterbasierten Methoden oft unter einer Verdünnung der Audio-Prompts, bei der das Signal mit der Ausbreitung durch das Netzwerk allmählich schwächer wird. In dieser Arbeit schlagen wir AuralSAM2 vor, das Audio in SAM2 integriert und dabei dessen promptbasierte Segmentierungsfähigkeit weitgehend bewahrt. Das Kernmodul, AuralFuser, fusioniert Audio- und visuelle Merkmale, um spärliche und dichte Prompts zu erzeugen. Diese Prompts, gesteuert durch Audio und aufbauend auf SAM2s Merkmalpyramide, propagieren auditive Hinweise über die visuellen Ebenen und verstärken so den modalitätsübergreifenden Einfluss. Zur weiteren Angleichung der Modalitäten führen wir einen audiogeführten Kontrastverlust ein, der die auditive Relevanz in dominanten visuellen Merkmalen betont. Unsere Methode erzielt auf öffentlichen Benchmarks bemerkenswerte Genauigkeitssteigerungen bei nur minimalen Auswirkungen auf die interaktive Effizienz der promptbasierten Segmentierung. Unser Code ist verfügbar unter https://github.com/yyliu01/AuralSAM2.

English

Segment Anything Model 2 (SAM2) exhibits strong generalisation for promptable segmentation in video clips; however, its integration with the audio modality remains underexplored. Existing approaches either convert audio into visual prompts (e.g., boxes) via foundation models, or inject adapters into the image encoder for audio-visual fusion. Yet both directions fall short in human-in-the-loop scenarios due to limited prompt accuracy and increased inference overhead. In particular, these adapter-based methods often suffer from audio prompt dilution, where the signal gradually weakens as it propagates through the network. In this work, we propose AuralSAM2, which integrates audio into SAM2 while largely preserving its promptable segmentation capability. Its core module, AuralFuser, fuses audio and visual features to generate sparse and dense prompts. Guided by audio and built upon SAM2's feature pyramid, these prompts propagate auditory cues across visual layers, reinforcing cross-modal influence. To further align modalities, we introduce an audio-guided contrastive loss that emphasises auditory relevance in dominant visual features. Our method achieves notable accuracy gains on public benchmarks with only minimal impact on the interactive efficiency of promptable segmentation. Our code is available at https://github.com/yyliu01/AuralSAM2.