EgoSpeak：実環境における自己中心的な会話エージェントの発話タイミングの学習

EgoSpeak: Learning When to Speak for Egocentric Conversational Agents in the Wild

February 17, 2025

著者: Junhyeok Kim, Min Soo Kim, Jiwan Chung, Jungbin Cho, Jisoo Kim, Sungwoong Kim, Gyeongbo Sim, Youngjae Yu

cs.AI

要旨

現実世界の環境において発話を開始するタイミングを予測することは、会話エージェントにとって依然として根本的な課題である。本論文では、エゴセントリックなストリーミングビデオにおけるリアルタイム発話開始予測のための新たなフレームワーク「EgoSpeak」を提案する。EgoSpeakは、話者の一人称視点から会話をモデル化することで、会話エージェントが環境を継続的に観察し、動的に発話タイミングを決定する必要がある人間らしいインタラクションに特化している。本アプローチは、以下の4つの主要な機能を統合することで、簡素化された実験設定と複雑な自然な会話の間のギャップを埋めるものである：(1) 一人称視点、(2) RGB処理、(3) オンライン処理、(4) 未編集ビデオ処理。また、大規模な事前学習のリソースとして、YouTubeから収集した多様な実世界の会話ビデオのコレクション「YT-Conversation」を提示する。EasyComおよびEgo4Dにおける実験により、EgoSpeakがリアルタイムでランダムおよび沈黙ベースのベースラインを上回ることを実証した。さらに、効果的な発話タイミング決定におけるマルチモーダル入力とコンテキスト長の重要性を明らかにした。

English

Predicting when to initiate speech in real-world environments remains a fundamental challenge for conversational agents. We introduce EgoSpeak, a novel framework for real-time speech initiation prediction in egocentric streaming video. By modeling the conversation from the speaker's first-person viewpoint, EgoSpeak is tailored for human-like interactions in which a conversational agent must continuously observe its environment and dynamically decide when to talk. Our approach bridges the gap between simplified experimental setups and complex natural conversations by integrating four key capabilities: (1) first-person perspective, (2) RGB processing, (3) online processing, and (4) untrimmed video processing. We also present YT-Conversation, a diverse collection of in-the-wild conversational videos from YouTube, as a resource for large-scale pretraining. Experiments on EasyCom and Ego4D demonstrate that EgoSpeak outperforms random and silence-based baselines in real time. Our results also highlight the importance of multimodal input and context length in effectively deciding when to speak.