EgoSpeak: Aprendiendo cuándo hablar para agentes conversacionales egocéntricos en entornos no controlados

EgoSpeak: Learning When to Speak for Egocentric Conversational Agents in the Wild

February 17, 2025

Autores: Junhyeok Kim, Min Soo Kim, Jiwan Chung, Jungbin Cho, Jisoo Kim, Sungwoong Kim, Gyeongbo Sim, Youngjae Yu

cs.AI

Resumen

Predecir cuándo iniciar el habla en entornos del mundo real sigue siendo un desafío fundamental para los agentes conversacionales. Presentamos EgoSpeak, un marco novedoso para la predicción en tiempo real de la iniciación del habla en videos en streaming egocéntricos. Al modelar la conversación desde la perspectiva en primera persona del hablante, EgoSpeak está diseñado para interacciones humanas en las que un agente conversacional debe observar continuamente su entorno y decidir dinámicamente cuándo hablar. Nuestro enfoque cierra la brecha entre configuraciones experimentales simplificadas y conversaciones naturales complejas al integrar cuatro capacidades clave: (1) perspectiva en primera persona, (2) procesamiento RGB, (3) procesamiento en línea y (4) procesamiento de videos sin recortar. También presentamos YT-Conversation, una colección diversa de videos conversacionales en entornos naturales extraídos de YouTube, como recurso para el preentrenamiento a gran escala. Los experimentos en EasyCom y Ego4D demuestran que EgoSpeak supera a las líneas base aleatorias y basadas en silencio en tiempo real. Nuestros resultados también destacan la importancia de la entrada multimodal y la longitud del contexto para decidir eficazmente cuándo hablar.

English

Predicting when to initiate speech in real-world environments remains a fundamental challenge for conversational agents. We introduce EgoSpeak, a novel framework for real-time speech initiation prediction in egocentric streaming video. By modeling the conversation from the speaker's first-person viewpoint, EgoSpeak is tailored for human-like interactions in which a conversational agent must continuously observe its environment and dynamically decide when to talk. Our approach bridges the gap between simplified experimental setups and complex natural conversations by integrating four key capabilities: (1) first-person perspective, (2) RGB processing, (3) online processing, and (4) untrimmed video processing. We also present YT-Conversation, a diverse collection of in-the-wild conversational videos from YouTube, as a resource for large-scale pretraining. Experiments on EasyCom and Ego4D demonstrate that EgoSpeak outperforms random and silence-based baselines in real time. Our results also highlight the importance of multimodal input and context length in effectively deciding when to speak.