Escalando Redes de Grafos de Interacción Facial a Escenas del Mundo Real

Scaling Face Interaction Graph Networks to Real World Scenes

January 22, 2024

Autores: Tatiana Lopez-Guevara, Yulia Rubanova, William F. Whitney, Tobias Pfaff, Kimberly Stachenfeld, Kelsey R. Allen

cs.AI

Resumen

Simular con precisión la dinámica de objetos del mundo real es esencial para diversas aplicaciones como la robótica, la ingeniería, los gráficos y el diseño. Para capturar mejor dinámicas complejas del mundo real, como el contacto y la fricción, los simuladores basados en aprendizaje mediante redes de grafos han mostrado recientemente un gran potencial. Sin embargo, aplicar estos simuladores aprendidos a escenas reales presenta dos desafíos principales: primero, escalar los simuladores aprendidos para manejar la complejidad de escenas del mundo real, que pueden involucrar cientos de objetos, cada uno con formas 3D complicadas, y segundo, manejar entradas provenientes de la percepción en lugar de información de estado 3D. Aquí presentamos un método que reduce sustancialmente la memoria requerida para ejecutar simuladores aprendidos basados en grafos. Basándonos en este modelo de simulación eficiente en memoria, presentamos luego una interfaz perceptual en forma de NeRFs editables que pueden convertir escenas del mundo real en una representación estructurada que puede ser procesada por un simulador de red de grafos. Demostramos que nuestro método utiliza significativamente menos memoria que los simuladores basados en grafos anteriores, manteniendo su precisión, y que los simuladores aprendidos en entornos sintéticos pueden aplicarse a escenas del mundo real capturadas desde múltiples ángulos de cámara. Esto allana el camino para expandir la aplicación de simuladores aprendidos a entornos donde solo se dispone de información perceptual en el momento de la inferencia.

English

Accurately simulating real world object dynamics is essential for various applications such as robotics, engineering, graphics, and design. To better capture complex real dynamics such as contact and friction, learned simulators based on graph networks have recently shown great promise. However, applying these learned simulators to real scenes comes with two major challenges: first, scaling learned simulators to handle the complexity of real world scenes which can involve hundreds of objects each with complicated 3D shapes, and second, handling inputs from perception rather than 3D state information. Here we introduce a method which substantially reduces the memory required to run graph-based learned simulators. Based on this memory-efficient simulation model, we then present a perceptual interface in the form of editable NeRFs which can convert real-world scenes into a structured representation that can be processed by graph network simulator. We show that our method uses substantially less memory than previous graph-based simulators while retaining their accuracy, and that the simulators learned in synthetic environments can be applied to real world scenes captured from multiple camera angles. This paves the way for expanding the application of learned simulators to settings where only perceptual information is available at inference time.