Conectando Perspectivas: Uma Pesquisa sobre Inteligência Colaborativa entre Visões com Visão Egocêntrica e Exocêntrica

Bridging Perspectives: A Survey on Cross-view Collaborative Intelligence with Egocentric-Exocentric Vision

June 6, 2025

Autores: Yuping He, Yifei Huang, Guo Chen, Lidong Lu, Baoqi Pei, Jilan Xu, Tong Lu, Yoichi Sato

cs.AI

Resumo

Perceber o mundo tanto a partir de perspectivas egocêntricas (em primeira pessoa) quanto exocêntricas (em terceira pessoa) é fundamental para a cognição humana, permitindo uma compreensão rica e complementar de ambientes dinâmicos. Nos últimos anos, permitir que as máquinas aproveitem o potencial sinérgico dessas perspectivas duplas emergiu como uma direção de pesquisa atraente no entendimento de vídeos. Nesta pesquisa, fornecemos uma revisão abrangente do entendimento de vídeos a partir de pontos de vista tanto exocêntricos quanto egocêntricos. Começamos destacando as aplicações práticas da integração de técnicas egocêntricas e exocêntricas, vislumbrando sua potencial colaboração entre domínios. Em seguida, identificamos tarefas de pesquisa essenciais para realizar essas aplicações. Depois, organizamos e revisamos sistematicamente os avanços recentes em três principais direções de pesquisa: (1) aproveitar dados egocêntricos para aprimorar o entendimento exocêntrico, (2) utilizar dados exocêntricos para melhorar a análise egocêntrica, e (3) frameworks de aprendizado conjunto que unificam ambas as perspectivas. Para cada direção, analisamos um conjunto diversificado de tarefas e trabalhos relevantes. Além disso, discutimos conjuntos de dados de referência que apoiam a pesquisa em ambas as perspectivas, avaliando seu escopo, diversidade e aplicabilidade. Por fim, discutimos limitações nos trabalhos atuais e propomos direções futuras promissoras de pesquisa. Ao sintetizar insights de ambas as perspectivas, nosso objetivo é inspirar avanços no entendimento de vídeos e na inteligência artificial, aproximando as máquinas de perceber o mundo de maneira semelhante aos humanos. Um repositório GitHub de trabalhos relacionados pode ser encontrado em https://github.com/ayiyayi/Awesome-Egocentric-and-Exocentric-Vision.

English

Perceiving the world from both egocentric (first-person) and exocentric (third-person) perspectives is fundamental to human cognition, enabling rich and complementary understanding of dynamic environments. In recent years, allowing the machines to leverage the synergistic potential of these dual perspectives has emerged as a compelling research direction in video understanding. In this survey, we provide a comprehensive review of video understanding from both exocentric and egocentric viewpoints. We begin by highlighting the practical applications of integrating egocentric and exocentric techniques, envisioning their potential collaboration across domains. We then identify key research tasks to realize these applications. Next, we systematically organize and review recent advancements into three main research directions: (1) leveraging egocentric data to enhance exocentric understanding, (2) utilizing exocentric data to improve egocentric analysis, and (3) joint learning frameworks that unify both perspectives. For each direction, we analyze a diverse set of tasks and relevant works. Additionally, we discuss benchmark datasets that support research in both perspectives, evaluating their scope, diversity, and applicability. Finally, we discuss limitations in current works and propose promising future research directions. By synthesizing insights from both perspectives, our goal is to inspire advancements in video understanding and artificial intelligence, bringing machines closer to perceiving the world in a human-like manner. A GitHub repo of related works can be found at https://github.com/ayiyayi/Awesome-Egocentric-and-Exocentric-Vision.