FATE: フレームレベルの音声・視覚時間的埋め込み

要旨

犬が口を開けて吠えるとき、人間はその音が何であるか、そしていつ発生するかを自然に認識する。この同じ能力を持つ音声-視覚モデルを構築するには、意味的整合性と時間的整合性の両方を捉える表現が必要である。現在のアプローチはどちらか一方の側面で不足している。埋め込みモデルは意味的には一致するが時間情報を失い、同期モデルは時間オフセットを捉えるが意味的理解を欠いている。このギャップを埋めるために、我々はFATE（Frame-level Audio-visual Temporal Embedding）を提案する。各モダリティを単一の埋め込みにプーリングして時間情報を捨てる従来の埋め込みモデルとは異なり、FATEはフレームレベルのシーケンスを保持し、それらを実時間軸上で整列させ、厳密に整列したフレームペア間で類似度を計算する。オフセット予測のみを出力する同期モデルとは異なり、FATEは同期情報を再利用可能な埋め込み空間にエンコードし、ビデオ間の意味的対比学習とビデオ内の時間的対比学習を組み合わせた結合目的関数で訓練される。これにより、何が鳴るかといつ発生するかの両方を捉える。3つのタスクにおいて、FATEは時間的および意味的検索において最強のベースラインを大差で上回り、ゼロショット設定でのイベント位置特定では完全教師あり手法に匹敵し、生成評価指標として人間の判断との相関において最高の結果を達成する。ソースコードは https://github.com/guankaisi/FATE で入手できる。

English

When a dog opens its mouth and barks, humans naturally recognize what the sound is and when it occurs. Building audio-visual models with this same ability requires representations that capture both semantic and temporal alignment. Current approaches fall short on one side or the other: embedding models match semantic but lose temporal information; synchronization models capture temporal offsets but lack semantic understanding. To bridge this gap, we propose FATE, Frame-level Audio-visual Temporal Embedding. Unlike prior embedding models that pool each modality into a single embedding and discard temporal information, FATE retains frame-level sequences, aligns them on the physical timeline, and computes similarity over strictly aligned frame pairs. Unlike synchronization models that output only an offset prediction, FATE encodes synchronization in a reusable embedding space, trained with a joint objective combining cross-video semantic and within-video temporal contrastive learning to capture both what sounds and when it occurs. Across three tasks, FATE surpasses the strongest baseline on temporal and semantic retrieval by a large margin, matches fully supervised methods on event localization in a zero-shot setting, and achieves the best correlation with human judgments as a generation evaluation metric. The source code can be found at https://github.com/guankaisi/FATE.