InteractVLM: 3D-Interaktionsanalyse aus 2D-Foundation-Modellen

InteractVLM: 3D Interaction Reasoning from 2D Foundational Models

April 7, 2025

Autoren: Sai Kumar Dwivedi, Dimitrije Antić, Shashank Tripathi, Omid Taheri, Cordelia Schmid, Michael J. Black, Dimitrios Tzionas

cs.AI

Zusammenfassung

Wir stellen InteractVLM vor, eine neuartige Methode zur Schätzung von 3D-Kontaktpunkten auf menschlichen Körpern und Objekten aus einzelnen Bildern in natürlichen Umgebungen, die eine präzise 3D-Rekonstruktion von Mensch-Objekt-Interaktionen ermöglicht. Dies ist aufgrund von Verdeckungen, Tiefenunschärfen und der großen Vielfalt an Objektformen eine Herausforderung. Bisherige Methoden stützen sich auf 3D-Kontaktannotationen, die mit teuren Motion-Capture-Systemen oder aufwendiger manueller Beschriftung gesammelt wurden, was die Skalierbarkeit und Generalisierbarkeit einschränkt. Um dies zu überwinden, nutzt InteractVLM das breite visuelle Wissen großer Vision-Language-Modelle (VLMs), die mit begrenzten 3D-Kontaktdaten feinabgestimmt werden. Die direkte Anwendung dieser Modelle ist jedoch nicht trivial, da sie nur in 2D argumentieren, während Mensch-Objekt-Kontakte inhärent 3D sind. Daher führen wir ein neuartiges Render-Localize-Lift-Modul ein, das: (1) 3D-Körper- und Objektoberflächen über Multi-View-Rendering in den 2D-Raum einbettet, (2) ein neuartiges Multi-View-Lokalisierungsmodell (MV-Loc) trainiert, um Kontakte in 2D abzuleiten, und (3) diese in 3D überführt. Zusätzlich schlagen wir eine neue Aufgabe namens Semantic Human Contact Estimation vor, bei der menschliche Kontaktvorhersagen explizit auf Objektsemantik basieren, was eine reichhaltigere Interaktionsmodellierung ermöglicht. InteractVLM übertrifft bestehende Arbeiten in der Kontaktschätzung und erleichtert auch die 3D-Rekonstruktion aus einem Bild in natürlicher Umgebung. Code und Modelle sind verfügbar unter https://interactvlm.is.tue.mpg.de.

English

We introduce InteractVLM, a novel method to estimate 3D contact points on human bodies and objects from single in-the-wild images, enabling accurate human-object joint reconstruction in 3D. This is challenging due to occlusions, depth ambiguities, and widely varying object shapes. Existing methods rely on 3D contact annotations collected via expensive motion-capture systems or tedious manual labeling, limiting scalability and generalization. To overcome this, InteractVLM harnesses the broad visual knowledge of large Vision-Language Models (VLMs), fine-tuned with limited 3D contact data. However, directly applying these models is non-trivial, as they reason only in 2D, while human-object contact is inherently 3D. Thus we introduce a novel Render-Localize-Lift module that: (1) embeds 3D body and object surfaces in 2D space via multi-view rendering, (2) trains a novel multi-view localization model (MV-Loc) to infer contacts in 2D, and (3) lifts these to 3D. Additionally, we propose a new task called Semantic Human Contact estimation, where human contact predictions are conditioned explicitly on object semantics, enabling richer interaction modeling. InteractVLM outperforms existing work on contact estimation and also facilitates 3D reconstruction from an in-the wild image. Code and models are available at https://interactvlm.is.tue.mpg.de.