Vorantreiben der kreativen physischen Intelligenz in großen multimodalen Modellen

Zusammenfassung

Große multimodale Modelle (LMMs) haben rasche Fortschritte in der Wahrnehmung und im logischen Denken erzielt; es bleibt jedoch unklar, ob diese Fähigkeiten über die Mustererkennung hinaus auf die Entdeckung visuell fundierter Lösungen in offenen Umgebungen übertragbar sind. In solchen Kontexten erfordert Intelligenz mehr als die Beantwortung gut gestellter Fragen: Sie umfasst das Erkennen, wie Elemente einer Szene auf nicht offensichtliche, aber physikalisch machbare Weise umfunktioniert werden können. Diese Form kreativen Problemlösens ist zentral für die menschliche Intelligenz, wird aber in aktuellen Benchmarks weitgehend nicht getestet. Um diese Fähigkeit zu bewerten, führen wir MM-CreativityBench ein, einen Benchmark für affordanzbasierten, kreativen Werkzeuggebrauch in visuell reichhaltigen, physikalisch eingeschränkten Umgebungen. Jede Instanz präsentiert ein Szenarienbild mit strukturierten Ansichten von Kandidatenentitäten und deren Teilen, was eine feinkörnige, interaktive Bewertung ermöglicht, wie Modelle die Szene iterativ inspizieren, relevante Affordanzen identifizieren und visuell sowie physikalisch fundierte Lösungen zusammensetzen. Unsere Experimente zeigen, dass aktuelle LMMs oft scheitern – nicht aufgrund mangelnder generativer Fähigkeit, sondern weil sie keine fundierte Exploration aufrechterhalten. Modelle übersehen häufig relevante Entitäten, untersuchen kritische Teile unzureichend oder halluzinieren Attribute, die nicht im Bild verankert sind. Motiviert durch diese Fehlerart schlagen wir affordanzbasierte Alignierung vor, die kreativen Werkzeuggebrauch als Präferenzlernproblem auffasst. Mittels direkter Präferenzoptimierung ermutigen wir Modelle, Attribut-Affordanz-Schlussfolgerungen, die auf visuellen Belegen beruhen, gegenüber halluzinierten Alternativen zu bevorzugen. Darüber hinaus integrieren wir eine aus einer Affordanz-Wissensdatenbank abgeleitete Überwachung, um eine breitere Erkundung von Entitäten und mehrschrittige Planung zu leiten. Unsere Ergebnisse zeigen konsistente Verbesserungen bei der Auswahl der korrekten Entitäten und Teile, während Halluzinationen und fundierungsbezogene Fehler deutlich reduziert werden.

English

Large multimodal models (LMMs) have rapidly advanced in perception and reasoning; however, it remains unclear whether these capabilities generalize to discovering visually grounded solutions in open-ended environments, beyond pattern recognition. In such settings, intelligence requires more than answering well-posed questions: it involves identifying how elements in a scene can be repurposed in non-obvious yet physically feasible ways. This form of creative problem-solving is central to human intelligence, but remains largely untested in current benchmarks. To evaluate this ability, we introduce MM-CreativityBench, a benchmark for affordance-grounded creative tool use in visually rich, physically constrained environments. Each instance presents a scenario image with structured views of candidate entities and their parts, enabling fine-grained, interactive evaluation of how models iteratively inspect the scene, identify relevant affordances, and compose visually and physically grounded solutions. Our experiments show that current LMMs often fall short, not due to lack of generative capability, but because they do not sustain grounded exploration. Models often overlook relevant entities, under-examine critical parts, or hallucinate attributes not grounded in the image. Motivated by this failure mode, we propose affordance-grounded alignment, which casts creative tool use as a preference learning problem. Using Direct Preference Optimization, we encourage models to prefer attribute-affordance reasoning grounded in visual evidence over hallucinated alternatives. In addition, we incorporate supervision derived from an affordance knowledge base to guide broader entity exploration and multi-turn planning. Our results show consistent gains in selecting the correct entities and parts, while substantially reducing hallucination and grounding-related errors.