От пикселей к чувствам: согласование мультимодальных языковых моделей с когнитивным восприятием изображений человеком

From Pixels to Feelings: Aligning MLLMs with Human Cognitive Perception of Images

November 27, 2025

Авторы: Yiming Chen, Junlin Han, Tianyi Bai, Shengbang Tong, Filippos Kokkinos, Philip Torr

cs.AI

Аннотация

В то время как мультимодальные большие языковые модели (MБЯМ) успешно справляются с ответами на вопрос о том, *что* изображено на картинке — идентифицируя объекты и описывая сцены — они часто не способны понять, *как* это изображение воспринимается человеком. Этот разрыв наиболее очевиден при рассмотрении субъективных когнитивных свойств, таких как то, что делает изображение запоминающимся, забавным, эстетически приятным или эмоционально заряженным. Для систематического решения этой задачи мы представляем CogIP-Bench — всеобъемлющий эталонный набор для оценки MБЯМ по таким когнитивным свойствам изображений. Наша оценка выявляет значительный разрыв: современные модели плохо согласованы с человеческим восприятием этих тонких свойств. Затем мы показываем, что этап последующего дообучения может эффективно устранить этот разрыв, значительно улучшив согласованность модели с человеческими оценками. Более того, мы демонстрируем, что эта приобретенная когнитивная согласованность не просто предсказательна, но и переносима на последующие творческие задачи. Интегрируя нашу когнитивно-согласованную MБЯМ в конвейер генерации изображений, мы можем направлять процесс синтеза для создания изображений, которые лучше воплощают желаемые черты, такие как большая запоминаемость или визуальная привлекательность. Наша работа предоставляет эталон для измерения этого человеко-подобного восприятия, конвейер последующего дообучения для его улучшения и демонстрирует, что такая согласованность открывает путь к более человеко-ориентированному искусственному интеллекту.

English

While Multimodal Large Language Models (MLLMs) are adept at answering what is in an image-identifying objects and describing scenes-they often lack the ability to understand how an image feels to a human observer. This gap is most evident when considering subjective cognitive properties, such as what makes an image memorable, funny, aesthetically pleasing, or emotionally evocative. To systematically address this challenge, we introduce CogIP-Bench, a comprehensive benchmark for evaluating MLLMs on such image cognitive properties. Our evaluation reveals a significant gap: current models are poorly aligned with human perception of these nuanced properties. We then demonstrate that a post-training phase can effectively bridge this gap, significantly enhancing the model's alignment with human judgments. Furthermore, we show that this learned cognitive alignment is not merely predictive but also transferable to downstream creative tasks. By integrating our cognitively-aligned MLLM into an image generation pipeline, we can guide the synthesis process to produce images that better embody desired traits, such as being more memorable or visually appealing. Our work provides a benchmark to measure this human-like perception, a post-training pipeline to enhance it, and a demonstration that this alignment unlocks more human-centric AI.