Brücken zwischen Perspektiven: Eine Übersicht zur kollaborativen Intelligenz über Sichtweisen hinweg mit egozentrischer und exozentrischer Vision

Bridging Perspectives: A Survey on Cross-view Collaborative Intelligence with Egocentric-Exocentric Vision

June 6, 2025

Autoren: Yuping He, Yifei Huang, Guo Chen, Lidong Lu, Baoqi Pei, Jilan Xu, Tong Lu, Yoichi Sato

cs.AI

Zusammenfassung

Die Wahrnehmung der Welt aus sowohl egozentrischer (erste Person) als auch exozentrischer (dritte Person) Perspektive ist grundlegend für die menschliche Kognition und ermöglicht ein reiches und komplementäres Verständnis dynamischer Umgebungen. In den letzten Jahren hat sich die Fähigkeit von Maschinen, das synergetische Potenzial dieser dualen Perspektiven zu nutzen, als vielversprechende Forschungsrichtung im Bereich des Video-Verstehens herauskristallisiert. In dieser Übersichtsarbeit bieten wir eine umfassende Betrachtung des Video-Verstehens aus sowohl exozentrischer als auch egozentrischer Sicht. Wir beginnen damit, die praktischen Anwendungen der Integration von egozentrischen und exozentrischen Techniken hervorzuheben und skizzieren ihr potenzielles Zusammenwirken über verschiedene Domänen hinweg. Anschließend identifizieren wir zentrale Forschungsaufgaben, um diese Anwendungen zu realisieren. Daraufhin systematisieren und überprüfen wir aktuelle Fortschritte in drei Hauptforschungsrichtungen: (1) die Nutzung egozentrischer Daten zur Verbesserung des exozentrischen Verstehens, (2) die Verwendung exozentrischer Daten zur Optimierung der egozentrischen Analyse und (3) gemeinsame Lernframeworks, die beide Perspektiven vereinen. Für jede Richtung analysieren wir eine Vielzahl von Aufgaben und relevanten Arbeiten. Zudem diskutieren wir Benchmark-Datensätze, die die Forschung in beiden Perspektiven unterstützen, und bewerten deren Umfang, Vielfalt und Anwendbarkeit. Abschließend erörtern wir die Grenzen aktueller Arbeiten und schlagen vielversprechende zukünftige Forschungsrichtungen vor. Durch die Synthese von Erkenntnissen aus beiden Perspektiven zielen wir darauf ab, Fortschritte im Video-Verstehen und in der künstlichen Intelligenz zu inspirieren, um Maschinen näher an eine menschenähnliche Wahrnehmung der Welt heranzuführen. Ein GitHub-Repo mit verwandten Arbeiten ist unter https://github.com/ayiyayi/Awesome-Egocentric-and-Exocentric-Vision zu finden.

English

Perceiving the world from both egocentric (first-person) and exocentric (third-person) perspectives is fundamental to human cognition, enabling rich and complementary understanding of dynamic environments. In recent years, allowing the machines to leverage the synergistic potential of these dual perspectives has emerged as a compelling research direction in video understanding. In this survey, we provide a comprehensive review of video understanding from both exocentric and egocentric viewpoints. We begin by highlighting the practical applications of integrating egocentric and exocentric techniques, envisioning their potential collaboration across domains. We then identify key research tasks to realize these applications. Next, we systematically organize and review recent advancements into three main research directions: (1) leveraging egocentric data to enhance exocentric understanding, (2) utilizing exocentric data to improve egocentric analysis, and (3) joint learning frameworks that unify both perspectives. For each direction, we analyze a diverse set of tasks and relevant works. Additionally, we discuss benchmark datasets that support research in both perspectives, evaluating their scope, diversity, and applicability. Finally, we discuss limitations in current works and propose promising future research directions. By synthesizing insights from both perspectives, our goal is to inspire advancements in video understanding and artificial intelligence, bringing machines closer to perceiving the world in a human-like manner. A GitHub repo of related works can be found at https://github.com/ayiyayi/Awesome-Egocentric-and-Exocentric-Vision.