Agente-para-Sim: Aprendizado de Modelos de Comportamento Interativo a partir de Vídeos Longitudinais Informais.

Agent-to-Sim: Learning Interactive Behavior Models from Casual Longitudinal Videos

October 21, 2024

Autores: Gengshan Yang, Andrea Bajcsy, Shunsuke Saito, Angjoo Kanazawa

cs.AI

Resumo

Apresentamos o Agent-to-Sim (ATS), um framework para aprender modelos de comportamento interativo de agentes 3D a partir de coleções casuais de vídeos longitudinais. Diferentemente de trabalhos anteriores que dependem de rastreamento baseado em marcadores e câmeras multivisão, o ATS aprende comportamentos naturais de agentes animais e humanos de forma não invasiva por meio de observações em vídeo gravadas ao longo de um longo período de tempo (por exemplo, um mês) em um único ambiente. Modelar o comportamento 3D de um agente requer rastreamento 3D persistente (por exemplo, saber qual ponto corresponde a qual) ao longo de um longo período de tempo. Para obter tais dados, desenvolvemos um método de registro de baixo para alto que rastreia o agente e a câmera ao longo do tempo por meio de um espaço 3D canônico, resultando em uma representação 4D espaço-tempo completa e persistente. Em seguida, treinamos um modelo generativo de comportamentos de agentes usando dados em pares de percepção e movimento de um agente consultados a partir da reconstrução 4D. O ATS possibilita a transferência de realidade para simulação a partir de gravações de vídeo de um agente para um simulador de comportamento interativo. Demonstramos resultados em animais de estimação (por exemplo, gato, cachorro, coelho) e humanos, a partir de vídeos RGBD monoculares capturados por um smartphone.

English

We present Agent-to-Sim (ATS), a framework for learning interactive behavior models of 3D agents from casual longitudinal video collections. Different from prior works that rely on marker-based tracking and multiview cameras, ATS learns natural behaviors of animal and human agents non-invasively through video observations recorded over a long time-span (e.g., a month) in a single environment. Modeling 3D behavior of an agent requires persistent 3D tracking (e.g., knowing which point corresponds to which) over a long time period. To obtain such data, we develop a coarse-to-fine registration method that tracks the agent and the camera over time through a canonical 3D space, resulting in a complete and persistent spacetime 4D representation. We then train a generative model of agent behaviors using paired data of perception and motion of an agent queried from the 4D reconstruction. ATS enables real-to-sim transfer from video recordings of an agent to an interactive behavior simulator. We demonstrate results on pets (e.g., cat, dog, bunny) and human given monocular RGBD videos captured by a smartphone.