InteractVLM: Raciocínio de Interação 3D a partir de Modelos Fundamentais 2D

InteractVLM: 3D Interaction Reasoning from 2D Foundational Models

April 7, 2025

Autores: Sai Kumar Dwivedi, Dimitrije Antić, Shashank Tripathi, Omid Taheri, Cordelia Schmid, Michael J. Black, Dimitrios Tzionas

cs.AI

Resumo

Apresentamos o InteractVLM, um método inovador para estimar pontos de contato 3D em corpos humanos e objetos a partir de imagens únicas capturadas em ambientes reais, permitindo a reconstrução conjunta precisa de humanos e objetos em 3D. Esse desafio é complexo devido a oclusões, ambiguidades de profundidade e a grande variedade de formas de objetos. Métodos existentes dependem de anotações de contato 3D coletadas por meio de sistemas de captura de movimento caros ou rotulagem manual tediosa, limitando a escalabilidade e a generalização. Para superar isso, o InteractVLM aproveita o amplo conhecimento visual de grandes Modelos de Visão e Linguagem (VLMs), ajustados com dados limitados de contato 3D. No entanto, aplicar diretamente esses modelos não é trivial, pois eles raciocinam apenas em 2D, enquanto o contato humano-objeto é inerentemente 3D. Assim, introduzimos um novo módulo Render-Localize-Lift que: (1) incorpora superfícies 3D de corpos e objetos no espaço 2D por meio de renderização multi-visão, (2) treina um novo modelo de localização multi-visão (MV-Loc) para inferir contatos em 2D, e (3) eleva esses contatos para 3D. Além disso, propomos uma nova tarefa chamada Estimação de Contato Humano Semântico, onde as previsões de contato humano são explicitamente condicionadas à semântica do objeto, permitindo uma modelagem de interação mais rica. O InteractVLM supera trabalhos existentes em estimação de contato e também facilita a reconstrução 3D a partir de uma imagem capturada em ambiente real. Código e modelos estão disponíveis em https://interactvlm.is.tue.mpg.de.

English

We introduce InteractVLM, a novel method to estimate 3D contact points on human bodies and objects from single in-the-wild images, enabling accurate human-object joint reconstruction in 3D. This is challenging due to occlusions, depth ambiguities, and widely varying object shapes. Existing methods rely on 3D contact annotations collected via expensive motion-capture systems or tedious manual labeling, limiting scalability and generalization. To overcome this, InteractVLM harnesses the broad visual knowledge of large Vision-Language Models (VLMs), fine-tuned with limited 3D contact data. However, directly applying these models is non-trivial, as they reason only in 2D, while human-object contact is inherently 3D. Thus we introduce a novel Render-Localize-Lift module that: (1) embeds 3D body and object surfaces in 2D space via multi-view rendering, (2) trains a novel multi-view localization model (MV-Loc) to infer contacts in 2D, and (3) lifts these to 3D. Additionally, we propose a new task called Semantic Human Contact estimation, where human contact predictions are conditioned explicitly on object semantics, enabling richer interaction modeling. InteractVLM outperforms existing work on contact estimation and also facilitates 3D reconstruction from an in-the wild image. Code and models are available at https://interactvlm.is.tue.mpg.de.