EgoSpeak: Imparare Quando Parlare per Agenti Conversazionali Egocentrici in Contesti Reali

EgoSpeak: Learning When to Speak for Egocentric Conversational Agents in the Wild

February 17, 2025

Autori: Junhyeok Kim, Min Soo Kim, Jiwan Chung, Jungbin Cho, Jisoo Kim, Sungwoong Kim, Gyeongbo Sim, Youngjae Yu

cs.AI

Abstract

Prevedere quando iniziare a parlare in ambienti del mondo reale rimane una sfida fondamentale per gli agenti conversazionali. Introduciamo EgoSpeak, un nuovo framework per la previsione in tempo reale dell'inizio del parlato in video streaming egocentrici. Modellando la conversazione dal punto di vista in prima persona del parlante, EgoSpeak è progettato per interazioni simili a quelle umane, in cui un agente conversazionale deve osservare continuamente l'ambiente e decidere dinamicamente quando parlare. Il nostro approccio colma il divario tra setup sperimentali semplificati e conversazioni naturali complesse integrando quattro capacità chiave: (1) prospettiva in prima persona, (2) elaborazione RGB, (3) elaborazione online e (4) elaborazione di video non tagliati. Presentiamo inoltre YT-Conversation, una raccolta diversificata di video conversazionali "in the wild" provenienti da YouTube, come risorsa per il pre-training su larga scala. Gli esperimenti su EasyCom ed Ego4D dimostrano che EgoSpeak supera in tempo reale i baseline casuali e basati sul silenzio. I nostri risultati evidenziano anche l'importanza dell'input multimodale e della lunghezza del contesto nel decidere efficacemente quando parlare.

English

Predicting when to initiate speech in real-world environments remains a fundamental challenge for conversational agents. We introduce EgoSpeak, a novel framework for real-time speech initiation prediction in egocentric streaming video. By modeling the conversation from the speaker's first-person viewpoint, EgoSpeak is tailored for human-like interactions in which a conversational agent must continuously observe its environment and dynamically decide when to talk. Our approach bridges the gap between simplified experimental setups and complex natural conversations by integrating four key capabilities: (1) first-person perspective, (2) RGB processing, (3) online processing, and (4) untrimmed video processing. We also present YT-Conversation, a diverse collection of in-the-wild conversational videos from YouTube, as a resource for large-scale pretraining. Experiments on EasyCom and Ego4D demonstrate that EgoSpeak outperforms random and silence-based baselines in real time. Our results also highlight the importance of multimodal input and context length in effectively deciding when to speak.