Развитие творческого физического интеллекта в больших мультимодальных моделях

Аннотация

Большие мультимодальные модели (БММ) быстро продвинулись в восприятии и рассуждении; однако остается неясным, обобщаются ли эти способности на обнаружение визуально обоснованных решений в открытых средах, выходящих за рамки распознавания образов. В таких условиях интеллект требует большего, чем ответов на корректно поставленные вопросы: он включает в себя идентификацию того, как элементы сцены могут быть перепрофилированы неочевидным, но физически осуществимым образом. Эта форма творческого решения проблем является ключевой для человеческого интеллекта, но остается в значительной степени непроверенной в современных бенчмарках. Для оценки этой способности мы представляем MM-CreativityBench — бенчмарк для творческого использования инструментов, основанного на аффордансах, в визуально насыщенных, физически ограниченных средах. Каждый пример содержит сценарий со структурированными видами сущностей-кандидатов и их частей, что позволяет детально и интерактивно оценивать, как модели итеративно исследуют сцену, выявляют релевантные аффордансы и составляют визуально и физически обоснованные решения. Наши эксперименты показывают, что современные БММ часто не справляются, причем не из-за отсутствия генеративных способностей, а из-за того, что они не поддерживают обоснованное исследование. Модели часто упускают из виду релевантные сущности, недостаточно изучают критические части или галлюцинируют атрибуты, не подтвержденные изображением. Мотивированные этим типом сбоя, мы предлагаем выравнивание на основе аффордансов, которое рассматривает творческое использование инструментов как задачу обучения предпочтениям. Используя прямую оптимизацию предпочтений, мы стимулируем модели предпочитать рассуждения об атрибутах и аффордансах, основанные на визуальных свидетельствах, а не на галлюцинированных альтернативах. Кроме того, мы включаем контроль, полученный из базы знаний об аффордансах, для направления более широкого исследования сущностей и многопланового планирования. Наши результаты демонстрируют последовательное улучшение в выборе правильных сущностей и частей, при значительном сокращении ошибок, связанных с галлюцинациями и обоснованием.

English

Large multimodal models (LMMs) have rapidly advanced in perception and reasoning; however, it remains unclear whether these capabilities generalize to discovering visually grounded solutions in open-ended environments, beyond pattern recognition. In such settings, intelligence requires more than answering well-posed questions: it involves identifying how elements in a scene can be repurposed in non-obvious yet physically feasible ways. This form of creative problem-solving is central to human intelligence, but remains largely untested in current benchmarks. To evaluate this ability, we introduce MM-CreativityBench, a benchmark for affordance-grounded creative tool use in visually rich, physically constrained environments. Each instance presents a scenario image with structured views of candidate entities and their parts, enabling fine-grained, interactive evaluation of how models iteratively inspect the scene, identify relevant affordances, and compose visually and physically grounded solutions. Our experiments show that current LMMs often fall short, not due to lack of generative capability, but because they do not sustain grounded exploration. Models often overlook relevant entities, under-examine critical parts, or hallucinate attributes not grounded in the image. Motivated by this failure mode, we propose affordance-grounded alignment, which casts creative tool use as a preference learning problem. Using Direct Preference Optimization, we encourage models to prefer attribute-affordance reasoning grounded in visual evidence over hallucinated alternatives. In addition, we incorporate supervision derived from an affordance knowledge base to guide broader entity exploration and multi-turn planning. Our results show consistent gains in selecting the correct entities and parts, while substantially reducing hallucination and grounding-related errors.