AuralSAM2 : Permettre à SAM2 d'entendre via un prompting pyramidal de caractéristiques audiovisuelles

Résumé

Le Segment Anything Model 2 (SAM2) présente une forte capacité de généralisation pour la segmentation amorçable (promptable) dans les clips vidéo ; cependant, son intégration avec la modalité audio reste peu explorée. Les approches existantes convertissent soit l'audio en amorces visuelles (par exemple, des boîtes) via des modèles fondamentaux, soit injectent des adaptateurs dans l'encodeur d'image pour la fusion audio-visuelle. Ces deux directions s'avèrent toutefois insuffisantes dans les scénarios avec intervention humaine en raison d'une précision limitée des amorces et d'une augmentation des coûts d'inférence. En particulier, ces méthodes basées sur des adaptateurs souffrent souvent d'une dilution de l'amorce audio, où le signal s'affaiblit progressivement au fur et à mesure de sa propagation dans le réseau. Dans ce travail, nous proposons AuralSAM2, qui intègre l'audio dans SAM2 tout en préservant largement sa capacité de segmentation amorçable. Son module central, AuralFuser, fusionne les caractéristiques audio et visuelles pour générer des amorces denses et éparses. Guidées par l'audio et s'appuyant sur la pyramide de caractéristiques de SAM2, ces amorces propagent des indices auditifs à travers les couches visuelles, renforçant ainsi l'influence cross-modale. Pour aligner davantage les modalités, nous introduisons une perte contrastive guidée par l'audio qui met l'accent sur la pertinence auditive dans les caractéristiques visuelles dominantes. Notre méthode atteint des gains de précision notables sur des références publiques, avec un impact minimal sur l'efficacité interactive de la segmentation amorçable. Notre code est disponible à l'adresse https://github.com/yyliu01/AuralSAM2.

English

Segment Anything Model 2 (SAM2) exhibits strong generalisation for promptable segmentation in video clips; however, its integration with the audio modality remains underexplored. Existing approaches either convert audio into visual prompts (e.g., boxes) via foundation models, or inject adapters into the image encoder for audio-visual fusion. Yet both directions fall short in human-in-the-loop scenarios due to limited prompt accuracy and increased inference overhead. In particular, these adapter-based methods often suffer from audio prompt dilution, where the signal gradually weakens as it propagates through the network. In this work, we propose AuralSAM2, which integrates audio into SAM2 while largely preserving its promptable segmentation capability. Its core module, AuralFuser, fuses audio and visual features to generate sparse and dense prompts. Guided by audio and built upon SAM2's feature pyramid, these prompts propagate auditory cues across visual layers, reinforcing cross-modal influence. To further align modalities, we introduce an audio-guided contrastive loss that emphasises auditory relevance in dominant visual features. Our method achieves notable accuracy gains on public benchmarks with only minimal impact on the interactive efficiency of promptable segmentation. Our code is available at https://github.com/yyliu01/AuralSAM2.