Relier les perspectives : Une étude sur l'intelligence collaborative inter-vues avec la vision égocentrique et exocentrique

Bridging Perspectives: A Survey on Cross-view Collaborative Intelligence with Egocentric-Exocentric Vision

June 6, 2025

Auteurs: Yuping He, Yifei Huang, Guo Chen, Lidong Lu, Baoqi Pei, Jilan Xu, Tong Lu, Yoichi Sato

cs.AI

Résumé

Percevoir le monde à la fois d'un point de vue égocentrique (première personne) et exocentrique (troisième personne) est fondamental pour la cognition humaine, permettant une compréhension riche et complémentaire des environnements dynamiques. Ces dernières années, permettre aux machines d'exploiter le potentiel synergique de ces deux perspectives est devenu une direction de recherche prometteuse dans le domaine de la compréhension vidéo. Dans cette revue, nous proposons une analyse exhaustive de la compréhension vidéo à partir des points de vue égocentrique et exocentrique. Nous commençons par mettre en lumière les applications pratiques de l'intégration des techniques égocentriques et exocentriques, en envisageant leur collaboration potentielle à travers divers domaines. Nous identifions ensuite les principales tâches de recherche nécessaires pour concrétiser ces applications. Ensuite, nous organisons et passons en revue systématiquement les avancées récentes en trois grandes directions de recherche : (1) exploiter les données égocentriques pour améliorer la compréhension exocentrique, (2) utiliser les données exocentriques pour enrichir l'analyse égocentrique, et (3) les cadres d'apprentissage conjoint qui unifient les deux perspectives. Pour chaque direction, nous analysons un ensemble varié de tâches et d'œuvres pertinentes. De plus, nous discutons des ensembles de données de référence qui soutiennent la recherche dans les deux perspectives, en évaluant leur portée, leur diversité et leur applicabilité. Enfin, nous abordons les limites des travaux actuels et proposons des directions de recherche futures prometteuses. En synthétisant les insights des deux perspectives, notre objectif est d'inspirer des avancées dans la compréhension vidéo et l'intelligence artificielle, rapprochant les machines d'une perception du monde semblable à celle des humains. Un dépôt GitHub des travaux connexes est disponible à l'adresse suivante : https://github.com/ayiyayi/Awesome-Egocentric-and-Exocentric-Vision.

English

Perceiving the world from both egocentric (first-person) and exocentric (third-person) perspectives is fundamental to human cognition, enabling rich and complementary understanding of dynamic environments. In recent years, allowing the machines to leverage the synergistic potential of these dual perspectives has emerged as a compelling research direction in video understanding. In this survey, we provide a comprehensive review of video understanding from both exocentric and egocentric viewpoints. We begin by highlighting the practical applications of integrating egocentric and exocentric techniques, envisioning their potential collaboration across domains. We then identify key research tasks to realize these applications. Next, we systematically organize and review recent advancements into three main research directions: (1) leveraging egocentric data to enhance exocentric understanding, (2) utilizing exocentric data to improve egocentric analysis, and (3) joint learning frameworks that unify both perspectives. For each direction, we analyze a diverse set of tasks and relevant works. Additionally, we discuss benchmark datasets that support research in both perspectives, evaluating their scope, diversity, and applicability. Finally, we discuss limitations in current works and propose promising future research directions. By synthesizing insights from both perspectives, our goal is to inspire advancements in video understanding and artificial intelligence, bringing machines closer to perceiving the world in a human-like manner. A GitHub repo of related works can be found at https://github.com/ayiyayi/Awesome-Egocentric-and-Exocentric-Vision.