Collegare le prospettive: una rassegna sull'intelligenza collaborativa cross-view con visione egocentrica ed esocentrica

Bridging Perspectives: A Survey on Cross-view Collaborative Intelligence with Egocentric-Exocentric Vision

June 6, 2025

Autori: Yuping He, Yifei Huang, Guo Chen, Lidong Lu, Baoqi Pei, Jilan Xu, Tong Lu, Yoichi Sato

cs.AI

Abstract

Percepire il mondo sia da una prospettiva egocentrica (in prima persona) che esocentrica (in terza persona) è fondamentale per la cognizione umana, consentendo una comprensione ricca e complementare degli ambienti dinamici. Negli ultimi anni, permettere alle macchine di sfruttare il potenziale sinergico di queste due prospettive è emerso come una direzione di ricerca convincente nel campo della comprensione video. In questa rassegna, forniamo una revisione completa della comprensione video sia dal punto di vista esocentrico che egocentrico. Iniziamo evidenziando le applicazioni pratiche dell'integrazione di tecniche egocentriche ed esocentriche, immaginando la loro potenziale collaborazione tra diversi domini. Identifichiamo poi le principali attività di ricerca necessarie per realizzare queste applicazioni. Successivamente, organizziamo e revisioniamo sistematicamente i recenti progressi in tre principali direzioni di ricerca: (1) sfruttare i dati egocentrici per migliorare la comprensione esocentrica, (2) utilizzare i dati esocentrici per migliorare l'analisi egocentrica, e (3) framework di apprendimento congiunto che uniscono entrambe le prospettive. Per ciascuna direzione, analizziamo una serie diversificata di compiti e lavori rilevanti. Inoltre, discutiamo i dataset di riferimento che supportano la ricerca in entrambe le prospettive, valutandone l'ambito, la diversità e l'applicabilità. Infine, discutiamo i limiti dei lavori attuali e proponiamo promettenti direzioni di ricerca future. Sintetizzando le intuizioni da entrambe le prospettive, il nostro obiettivo è ispirare progressi nella comprensione video e nell'intelligenza artificiale, avvicinando le macchine a una percezione del mondo simile a quella umana. Un repository GitHub di lavori correlati è disponibile all'indirizzo https://github.com/ayiyayi/Awesome-Egocentric-and-Exocentric-Vision.

English

Perceiving the world from both egocentric (first-person) and exocentric (third-person) perspectives is fundamental to human cognition, enabling rich and complementary understanding of dynamic environments. In recent years, allowing the machines to leverage the synergistic potential of these dual perspectives has emerged as a compelling research direction in video understanding. In this survey, we provide a comprehensive review of video understanding from both exocentric and egocentric viewpoints. We begin by highlighting the practical applications of integrating egocentric and exocentric techniques, envisioning their potential collaboration across domains. We then identify key research tasks to realize these applications. Next, we systematically organize and review recent advancements into three main research directions: (1) leveraging egocentric data to enhance exocentric understanding, (2) utilizing exocentric data to improve egocentric analysis, and (3) joint learning frameworks that unify both perspectives. For each direction, we analyze a diverse set of tasks and relevant works. Additionally, we discuss benchmark datasets that support research in both perspectives, evaluating their scope, diversity, and applicability. Finally, we discuss limitations in current works and propose promising future research directions. By synthesizing insights from both perspectives, our goal is to inspire advancements in video understanding and artificial intelligence, bringing machines closer to perceiving the world in a human-like manner. A GitHub repo of related works can be found at https://github.com/ayiyayi/Awesome-Egocentric-and-Exocentric-Vision.