EgoSpeak : Apprendre quand parler pour les agents conversationnels égocentriques en environnement réel

EgoSpeak: Learning When to Speak for Egocentric Conversational Agents in the Wild

February 17, 2025

Auteurs: Junhyeok Kim, Min Soo Kim, Jiwan Chung, Jungbin Cho, Jisoo Kim, Sungwoong Kim, Gyeongbo Sim, Youngjae Yu

cs.AI

Résumé

Prédire le moment opportun pour initier la parole dans des environnements réels demeure un défi fondamental pour les agents conversationnels. Nous présentons EgoSpeak, un nouveau cadre pour la prédiction en temps réel de l'initiation de la parole dans des vidéos en flux continu à la première personne. En modélisant la conversation du point de vue du locuteur, EgoSpeak est conçu pour des interactions humaines dans lesquelles un agent conversationnel doit observer continuellement son environnement et décider dynamiquement quand parler. Notre approche comble l'écart entre les configurations expérimentales simplifiées et les conversations naturelles complexes en intégrant quatre capacités clés : (1) la perspective à la première personne, (2) le traitement RGB, (3) le traitement en ligne, et (4) le traitement de vidéos non découpées. Nous présentons également YT-Conversation, une collection diversifiée de vidéos conversationnelles en situation réelle provenant de YouTube, comme ressource pour le pré-entraînement à grande échelle. Les expériences sur EasyCom et Ego4D montrent qu'EgoSpeak surpasse les bases de référence aléatoires et basées sur le silence en temps réel. Nos résultats soulignent également l'importance de l'entrée multimodale et de la longueur du contexte pour décider efficacement quand parler.

English

Predicting when to initiate speech in real-world environments remains a fundamental challenge for conversational agents. We introduce EgoSpeak, a novel framework for real-time speech initiation prediction in egocentric streaming video. By modeling the conversation from the speaker's first-person viewpoint, EgoSpeak is tailored for human-like interactions in which a conversational agent must continuously observe its environment and dynamically decide when to talk. Our approach bridges the gap between simplified experimental setups and complex natural conversations by integrating four key capabilities: (1) first-person perspective, (2) RGB processing, (3) online processing, and (4) untrimmed video processing. We also present YT-Conversation, a diverse collection of in-the-wild conversational videos from YouTube, as a resource for large-scale pretraining. Experiments on EasyCom and Ego4D demonstrate that EgoSpeak outperforms random and silence-based baselines in real time. Our results also highlight the importance of multimodal input and context length in effectively deciding when to speak.