Bruggen tussen Perspectieven: Een Overzicht van Cross-view Collaboratieve Intelligentie met Egocentrische en Exocentrische Visie

Bridging Perspectives: A Survey on Cross-view Collaborative Intelligence with Egocentric-Exocentric Vision

June 6, 2025

Auteurs: Yuping He, Yifei Huang, Guo Chen, Lidong Lu, Baoqi Pei, Jilan Xu, Tong Lu, Yoichi Sato

cs.AI

Samenvatting

Het waarnemen van de wereld vanuit zowel egocentrisch (eerste persoon) als exocentrisch (derde persoon) perspectief is fundamenteel voor de menselijke cognitie, wat een rijk en complementair begrip van dynamische omgevingen mogelijk maakt. De laatste jaren is het toestaan van machines om het synergetische potentieel van deze dubbele perspectieven te benutten, naar voren gekomen als een boeiende onderzoeksrichting in videobegrip. In dit overzicht bieden we een uitgebreide review van videobegrip vanuit zowel exocentrisch als egocentrisch perspectief. We beginnen met het benadrukken van de praktische toepassingen van het integreren van egocentrische en exocentrische technieken, waarbij we hun potentiële samenwerking in verschillende domeinen voorstellen. Vervolgens identificeren we belangrijke onderzoeks taken om deze toepassingen te realiseren. Daarna organiseren en bespreken we systematisch recente vooruitgang in drie hoofdonderzoeksrichtingen: (1) het benutten van egocentrische gegevens om exocentrisch begrip te verbeteren, (2) het gebruik van exocentrische gegevens om egocentrische analyse te versterken, en (3) gezamenlijke leerframeworks die beide perspectieven verenigen. Voor elke richting analyseren we een diverse set van taken en relevante werken. Daarnaast bespreken we benchmarkdatasets die onderzoek in beide perspectieven ondersteunen, waarbij we hun reikwijdte, diversiteit en toepasbaarheid evalueren. Tot slot bespreken we beperkingen in huidige werken en stellen we veelbelovende toekomstige onderzoeksrichtingen voor. Door inzichten uit beide perspectieven te synthetiseren, is ons doel om vooruitgang in videobegrip en kunstmatige intelligentie te inspireren, waardoor machines dichter bij het waarnemen van de wereld op een menselijke manier komen. Een GitHub-repo van gerelateerde werken is te vinden op https://github.com/ayiyayi/Awesome-Egocentric-and-Exocentric-Vision.

English

Perceiving the world from both egocentric (first-person) and exocentric (third-person) perspectives is fundamental to human cognition, enabling rich and complementary understanding of dynamic environments. In recent years, allowing the machines to leverage the synergistic potential of these dual perspectives has emerged as a compelling research direction in video understanding. In this survey, we provide a comprehensive review of video understanding from both exocentric and egocentric viewpoints. We begin by highlighting the practical applications of integrating egocentric and exocentric techniques, envisioning their potential collaboration across domains. We then identify key research tasks to realize these applications. Next, we systematically organize and review recent advancements into three main research directions: (1) leveraging egocentric data to enhance exocentric understanding, (2) utilizing exocentric data to improve egocentric analysis, and (3) joint learning frameworks that unify both perspectives. For each direction, we analyze a diverse set of tasks and relevant works. Additionally, we discuss benchmark datasets that support research in both perspectives, evaluating their scope, diversity, and applicability. Finally, we discuss limitations in current works and propose promising future research directions. By synthesizing insights from both perspectives, our goal is to inspire advancements in video understanding and artificial intelligence, bringing machines closer to perceiving the world in a human-like manner. A GitHub repo of related works can be found at https://github.com/ayiyayi/Awesome-Egocentric-and-Exocentric-Vision.