Des pixels aux émotions : Aligner les MLLM avec la perception cognitive humaine des images

From Pixels to Feelings: Aligning MLLMs with Human Cognitive Perception of Images

November 27, 2025

papers.authors: Yiming Chen, Junlin Han, Tianyi Bai, Shengbang Tong, Filippos Kokkinos, Philip Torr

cs.AI

papers.abstract

Si les modèles de langage multimodaux (MLLM) sont habiles à répondre à la question de savoir ce qui se trouve dans une image - en identifiant les objets et en décrivant les scènes - ils manquent souvent de la capacité à comprendre comment une image est perçue par un observateur humain. Cet écart est plus évident lorsqu'on considère des propriétés cognitives subjectives, comme ce qui rend une image mémorable, amusante, esthétiquement plaisante ou évocatrice d'émotions. Pour relever systématiquement ce défi, nous présentons CogIP-Bench, un benchmark complet pour évaluer les MLLM sur ces propriétés cognitives des images. Notre évaluation révèle un écart significatif : les modèles actuels sont faiblement alignés avec la perception humaine de ces propriétés nuancées. Nous démontrons ensuite qu'une phase de post-entraînement peut efficacement combler cet écart, améliorant significativement l'alignement du modèle avec les jugements humains. De plus, nous montrons que cet alignement cognitif appris n'est pas seulement prédictif mais aussi transférable à des tâches créatives en aval. En intégrant notre MLLM cognitivement aligné dans un pipeline de génération d'images, nous pouvons guider le processus de synthèse pour produire des images qui incarnent mieux les traits souhaités, comme être plus mémorables ou visuellement attrayantes. Notre travail fournit un benchmark pour mesurer cette perception humanoïde, un pipeline de post-entraînement pour l'améliorer, et une démonstration que cet alignement ouvre la voie à une IA plus centrée sur l'humain.

English

While Multimodal Large Language Models (MLLMs) are adept at answering what is in an image-identifying objects and describing scenes-they often lack the ability to understand how an image feels to a human observer. This gap is most evident when considering subjective cognitive properties, such as what makes an image memorable, funny, aesthetically pleasing, or emotionally evocative. To systematically address this challenge, we introduce CogIP-Bench, a comprehensive benchmark for evaluating MLLMs on such image cognitive properties. Our evaluation reveals a significant gap: current models are poorly aligned with human perception of these nuanced properties. We then demonstrate that a post-training phase can effectively bridge this gap, significantly enhancing the model's alignment with human judgments. Furthermore, we show that this learned cognitive alignment is not merely predictive but also transferable to downstream creative tasks. By integrating our cognitively-aligned MLLM into an image generation pipeline, we can guide the synthesis process to produce images that better embody desired traits, such as being more memorable or visually appealing. Our work provides a benchmark to measure this human-like perception, a post-training pipeline to enhance it, and a demonstration that this alignment unlocks more human-centric AI.