連続的音声視覚セグメンテーションにおけるモダリティ絡み合いの制御
Taming Modality Entanglement in Continual Audio-Visual Segmentation
October 20, 2025
著者: Yuyang Hong, Qi Yang, Tao Zhang, Zili Wang, Zhaojin Fu, Kun Ding, Bin Fan, Shiming Xiang
cs.AI
要旨
近年、マルチモーダル連続学習において、過去に学習したタスクの性能を維持しつつマルチモーダル環境で新しいタスクを逐次的に学習することを目指す重要な進展が見られている。しかし、既存の手法は主に粗粒度なタスクに焦点を当てており、細粒度な連続学習設定におけるモダリティの絡み合いに対処するには限界がある。このギャップを埋めるため、我々は新しい連続的音響-視覚セグメンテーション（CAVS）タスクを提案し、音声に導かれて新たなクラスを継続的にセグメント化することを目指す。詳細な分析を通じて、二つの重要な課題が明らかとなった：1）連続タスクにおいて音響オブジェクトが背景としてラベル付けされるマルチモーダル意味ドリフト、2）頻繁に共起するクラスが混同されやすい共起混乱である。本研究では、これらの課題に対処するため、衝突ベースのマルチモーダルリハーサル（CMR）フレームワークを設計した。具体的には、マルチモーダル意味ドリフトに対しては、モダリティ一貫性の高いサンプルをリハーサル用に選択するマルチモーダルサンプル選択（MSS）戦略を提案した。一方、共起混乱に対しては、学習過程において混同されやすいクラスのリハーサルサンプル頻度を増加させる衝突ベースサンプルリハーサル（CSR）メカニズムを設計した。さらに、本手法の有効性を検証するため三つの音響-視覚インクリメンタルシナリオを構築した。総合的な実験により、本手法が単一モーダル連続学習手法を大幅に上回ることを実証した。
English
Recently, significant progress has been made in multi-modal continual
learning, aiming to learn new tasks sequentially in multi-modal settings while
preserving performance on previously learned ones. However, existing methods
mainly focus on coarse-grained tasks, with limitations in addressing modality
entanglement in fine-grained continual learning settings. To bridge this gap,
we introduce a novel Continual Audio-Visual Segmentation (CAVS) task, aiming to
continuously segment new classes guided by audio. Through comprehensive
analysis, two critical challenges are identified: 1) multi-modal semantic
drift, where a sounding objects is labeled as background in sequential tasks;
2) co-occurrence confusion, where frequent co-occurring classes tend to be
confused. In this work, a Collision-based Multi-modal Rehearsal (CMR) framework
is designed to address these challenges. Specifically, for multi-modal semantic
drift, a Multi-modal Sample Selection (MSS) strategy is proposed to select
samples with high modal consistency for rehearsal. Meanwhile, for co-occurence
confusion, a Collision-based Sample Rehearsal (CSR) mechanism is designed,
allowing for the increase of rehearsal sample frequency of those confusable
classes during training process. Moreover, we construct three audio-visual
incremental scenarios to verify effectiveness of our method. Comprehensive
experiments demonstrate that our method significantly outperforms single-modal
continual learning methods.