Progrès de l'Intelligence Physique Créative dans les Grands Modèles Multimodaux

Résumé

Les grands modèles multimodaux (LMM) ont rapidement progressé en matière de perception et de raisonnement ; cependant, il n'est pas encore clair si ces capacités se généralisent à la découverte de solutions ancrées visuellement dans des environnements ouverts, au-delà de la reconnaissance de motifs. Dans de tels contextes, l'intelligence nécessite plus que de répondre à des questions bien formulées : elle implique d'identifier comment des éléments d'une scène peuvent être réutilisés de manière non évidente mais physiquement réalisable. Cette forme de résolution créative de problèmes est centrale à l'intelligence humaine, mais reste largement non testée dans les benchmarks actuels. Pour évaluer cette capacité, nous présentons MM-CreativityBench, un benchmark pour l'utilisation créative d'outils ancrée dans les affordances dans des environnements visuellement riches et physiquement contraints. Chaque instance présente une image de scénario avec des vues structurées des entités candidates et de leurs parties, permettant une évaluation fine et interactive de la manière dont les modèles inspectent itérativement la scène, identifient les affordances pertinentes et composent des solutions ancrées visuellement et physiquement. Nos expériences montrent que les LMM actuels échouent souvent, non pas par manque de capacité générative, mais parce qu'ils ne soutiennent pas une exploration ancrée. Les modèles négligent souvent des entités pertinentes, examinent insuffisamment des parties critiques, ou hallucinent des attributs non ancrés dans l'image. Motivés par ce mode d'échec, nous proposons un alignement ancré dans les affordances, qui considère l'utilisation créative d'outils comme un problème d'apprentissage par préférences. En utilisant l'Optimisation Directe des Préférences, nous encourageons les modèles à préférer un raisonnement attribut-affordance ancré dans des preuves visuelles plutôt que des alternatives hallucinées. De plus, nous incorporons une supervision dérivée d'une base de connaissances sur les affordances pour guider une exploration plus large des entités et une planification multi-tours. Nos résultats montrent des gains constants dans la sélection des entités et des parties correctes, tout en réduisant considérablement les hallucinations et les erreurs liées à l'ancrage.

English

Large multimodal models (LMMs) have rapidly advanced in perception and reasoning; however, it remains unclear whether these capabilities generalize to discovering visually grounded solutions in open-ended environments, beyond pattern recognition. In such settings, intelligence requires more than answering well-posed questions: it involves identifying how elements in a scene can be repurposed in non-obvious yet physically feasible ways. This form of creative problem-solving is central to human intelligence, but remains largely untested in current benchmarks. To evaluate this ability, we introduce MM-CreativityBench, a benchmark for affordance-grounded creative tool use in visually rich, physically constrained environments. Each instance presents a scenario image with structured views of candidate entities and their parts, enabling fine-grained, interactive evaluation of how models iteratively inspect the scene, identify relevant affordances, and compose visually and physically grounded solutions. Our experiments show that current LMMs often fall short, not due to lack of generative capability, but because they do not sustain grounded exploration. Models often overlook relevant entities, under-examine critical parts, or hallucinate attributes not grounded in the image. Motivated by this failure mode, we propose affordance-grounded alignment, which casts creative tool use as a preference learning problem. Using Direct Preference Optimization, we encourage models to prefer attribute-affordance reasoning grounded in visual evidence over hallucinated alternatives. In addition, we incorporate supervision derived from an affordance knowledge base to guide broader entity exploration and multi-turn planning. Our results show consistent gains in selecting the correct entities and parts, while substantially reducing hallucination and grounding-related errors.