InteractVLM: Razonamiento de Interacción 3D a partir de Modelos Fundamentales 2D

InteractVLM: 3D Interaction Reasoning from 2D Foundational Models

April 7, 2025

Autores: Sai Kumar Dwivedi, Dimitrije Antić, Shashank Tripathi, Omid Taheri, Cordelia Schmid, Michael J. Black, Dimitrios Tzionas

cs.AI

Resumen

Presentamos InteractVLM, un método novedoso para estimar puntos de contacto 3D en cuerpos humanos y objetos a partir de imágenes únicas en entornos naturales, permitiendo una reconstrucción precisa de la interacción humano-objeto en 3D. Esto representa un desafío debido a oclusiones, ambigüedades de profundidad y la amplia variedad de formas de los objetos. Los métodos existentes dependen de anotaciones de contacto 3D recolectadas mediante costosos sistemas de captura de movimiento o etiquetado manual tedioso, lo que limita la escalabilidad y generalización. Para superar esto, InteractVLM aprovecha el amplio conocimiento visual de los grandes Modelos de Visión-Lenguaje (VLMs), ajustados con datos limitados de contacto 3D. Sin embargo, aplicar directamente estos modelos no es trivial, ya que razonan solo en 2D, mientras que el contacto humano-objeto es inherentemente 3D. Por ello, introducimos un módulo novedoso llamado Render-Localize-Lift que: (1) incrusta superficies 3D de cuerpos y objetos en espacio 2D mediante renderizado multi-vista, (2) entrena un nuevo modelo de localización multi-vista (MV-Loc) para inferir contactos en 2D, y (3) eleva estos a 3D. Además, proponemos una nueva tarea llamada Estimación Semántica de Contacto Humano, donde las predicciones de contacto humano se condicionan explícitamente en la semántica del objeto, permitiendo un modelado de interacción más rico. InteractVLM supera el trabajo existente en estimación de contacto y también facilita la reconstrucción 3D a partir de una imagen en entorno natural. El código y los modelos están disponibles en https://interactvlm.is.tue.mpg.de.

English

We introduce InteractVLM, a novel method to estimate 3D contact points on human bodies and objects from single in-the-wild images, enabling accurate human-object joint reconstruction in 3D. This is challenging due to occlusions, depth ambiguities, and widely varying object shapes. Existing methods rely on 3D contact annotations collected via expensive motion-capture systems or tedious manual labeling, limiting scalability and generalization. To overcome this, InteractVLM harnesses the broad visual knowledge of large Vision-Language Models (VLMs), fine-tuned with limited 3D contact data. However, directly applying these models is non-trivial, as they reason only in 2D, while human-object contact is inherently 3D. Thus we introduce a novel Render-Localize-Lift module that: (1) embeds 3D body and object surfaces in 2D space via multi-view rendering, (2) trains a novel multi-view localization model (MV-Loc) to infer contacts in 2D, and (3) lifts these to 3D. Additionally, we propose a new task called Semantic Human Contact estimation, where human contact predictions are conditioned explicitly on object semantics, enabling richer interaction modeling. InteractVLM outperforms existing work on contact estimation and also facilitates 3D reconstruction from an in-the wild image. Code and models are available at https://interactvlm.is.tue.mpg.de.