Het Bevorderen van Creatieve Fysieke Intelligentie in Grote Multimodale Modellen

Samenvatting

Grote multimodale modellen (LMM's) hebben een snelle vooruitgang geboekt op het gebied van perceptie en redeneren; het blijft echter onduidelijk of deze capaciteiten generaliseren naar het ontdekken van visueel onderbouwde oplossingen in open omgevingen, verder dan patroonherkenning. In dergelijke contexten vereist intelligentie meer dan het beantwoorden van goed geformuleerde vragen: het omvat het identificeren hoe elementen in een scène op niet voor de hand liggende maar fysiek haalbare manieren kunnen worden hergebruikt. Deze vorm van creatief probleemoplossend vermogen staat centraal in menselijke intelligentie, maar wordt in huidige benchmarks grotendeels niet getest. Om dit vermogen te evalueren introduceren wij MM-CreativityBench, een benchmark voor creatief gereedschapsgebruik op basis van affordanties in visueel rijke, fysiek beperkte omgevingen. Elke instantie presenteert een scenario-afbeelding met gestructureerde aanzichten van kandidaat-entiteiten en hun onderdelen, wat een gedetailleerde, interactieve evaluatie mogelijk maakt van hoe modellen iteratief de scène inspecteren, relevante affordanties identificeren en visueel en fysiek onderbouwde oplossingen samenstellen. Onze experimenten tonen aan dat huidige LMM's vaak tekortschieten, niet door een gebrek aan generatief vermogen, maar omdat ze geen onderbouwde verkenning volhouden. Modellen zien vaak relevante entiteiten over het hoofd, onderzoeken cruciale onderdelen onvoldoende of hallucineren attributen die niet in de afbeelding zijn verankerd. Gemotiveerd door deze faalmodus stellen wij affordantie-gerelateerde afstemming voor, die creatief gereedschapsgebruik als een preferentie-leerprobleem beschouwt. Met behulp van Directe Preferentie-optimalisatie moedigen wij modellen aan om attribuut-affordantie redeneringen te prefereren die zijn gebaseerd op visueel bewijs, boven gehallucineerde alternatieven. Daarnaast integreren we supervisie afkomstig van een kennisbasis van affordanties om een bredere verkenning van entiteiten en meerstapsplanning te sturen. Onze resultaten laten consistente verbeteringen zien in het selecteren van de juiste entiteiten en onderdelen, terwijl hallucinaties en grondigheidsgerelateerde fouten aanzienlijk worden verminderd.

English

Large multimodal models (LMMs) have rapidly advanced in perception and reasoning; however, it remains unclear whether these capabilities generalize to discovering visually grounded solutions in open-ended environments, beyond pattern recognition. In such settings, intelligence requires more than answering well-posed questions: it involves identifying how elements in a scene can be repurposed in non-obvious yet physically feasible ways. This form of creative problem-solving is central to human intelligence, but remains largely untested in current benchmarks. To evaluate this ability, we introduce MM-CreativityBench, a benchmark for affordance-grounded creative tool use in visually rich, physically constrained environments. Each instance presents a scenario image with structured views of candidate entities and their parts, enabling fine-grained, interactive evaluation of how models iteratively inspect the scene, identify relevant affordances, and compose visually and physically grounded solutions. Our experiments show that current LMMs often fall short, not due to lack of generative capability, but because they do not sustain grounded exploration. Models often overlook relevant entities, under-examine critical parts, or hallucinate attributes not grounded in the image. Motivated by this failure mode, we propose affordance-grounded alignment, which casts creative tool use as a preference learning problem. Using Direct Preference Optimization, we encourage models to prefer attribute-affordance reasoning grounded in visual evidence over hallucinated alternatives. In addition, we incorporate supervision derived from an affordance knowledge base to guide broader entity exploration and multi-turn planning. Our results show consistent gains in selecting the correct entities and parts, while substantially reducing hallucination and grounding-related errors.