Avançando a Inteligência Física Criativa em Grandes Modelos Multimodais

Resumo

Grandes modelos multimodais (LMMs) avançaram rapidamente em percepção e raciocínio; no entanto, ainda não está claro se essas capacidades se generalizam para descobrir soluções visualmente fundamentadas em ambientes abertos, além do reconhecimento de padrões. Nesses contextos, a inteligência exige mais do que responder a perguntas bem formuladas: envolve identificar como elementos de uma cena podem ser reaproveitados de maneiras não óbvias, porém fisicamente viáveis. Essa forma de resolução criativa de problemas é central para a inteligência humana, mas permanece amplamente não testada nos benchmarks atuais. Para avaliar essa capacidade, apresentamos o MM-CreativityBench, um benchmark para uso criativo de ferramentas fundamentado em affordances em ambientes visualmente ricos e fisicamente restritos. Cada instância apresenta uma imagem de cenário com visões estruturadas de entidades candidatas e suas partes, permitindo uma avaliação interativa e detalhada de como os modelos inspecionam iterativamente a cena, identificam affordances relevantes e compõem soluções visual e fisicamente fundamentadas. Nossos experimentos mostram que os LMMs atuais frequentemente falham, não por falta de capacidade generativa, mas por não sustentarem uma exploração fundamentada. Os modelos frequentemente ignoram entidades relevantes, examinam insuficientemente partes críticas ou alucinam atributos não fundamentados na imagem. Motivados por esse modo de falha, propomos o alinhamento fundamentado em affordances, que trata o uso criativo de ferramentas como um problema de aprendizado por preferência. Usando a Otimização Direta de Preferência, incentivamos os modelos a preferirem raciocínios de atributo-affordance fundamentados em evidência visual em vez de alternativas alucinadas. Além disso, incorporamos supervisão derivada de uma base de conhecimento de affordances para orientar a exploração mais ampla de entidades e o planejamento em múltiplas etapas. Nossos resultados mostram ganhos consistentes na seleção das entidades e partes corretas, ao mesmo tempo que reduzem substancialmente erros relacionados a alucinações e fundamentação.

English

Large multimodal models (LMMs) have rapidly advanced in perception and reasoning; however, it remains unclear whether these capabilities generalize to discovering visually grounded solutions in open-ended environments, beyond pattern recognition. In such settings, intelligence requires more than answering well-posed questions: it involves identifying how elements in a scene can be repurposed in non-obvious yet physically feasible ways. This form of creative problem-solving is central to human intelligence, but remains largely untested in current benchmarks. To evaluate this ability, we introduce MM-CreativityBench, a benchmark for affordance-grounded creative tool use in visually rich, physically constrained environments. Each instance presents a scenario image with structured views of candidate entities and their parts, enabling fine-grained, interactive evaluation of how models iteratively inspect the scene, identify relevant affordances, and compose visually and physically grounded solutions. Our experiments show that current LMMs often fall short, not due to lack of generative capability, but because they do not sustain grounded exploration. Models often overlook relevant entities, under-examine critical parts, or hallucinate attributes not grounded in the image. Motivated by this failure mode, we propose affordance-grounded alignment, which casts creative tool use as a preference learning problem. Using Direct Preference Optimization, we encourage models to prefer attribute-affordance reasoning grounded in visual evidence over hallucinated alternatives. In addition, we incorporate supervision derived from an affordance knowledge base to guide broader entity exploration and multi-turn planning. Our results show consistent gains in selecting the correct entities and parts, while substantially reducing hallucination and grounding-related errors.