Van Pixels naar Gevoelens: Het Afstemmen van MLLM’s op de Menselijke Cognitieve Waarneming van Beelden

From Pixels to Feelings: Aligning MLLMs with Human Cognitive Perception of Images

November 27, 2025

Auteurs: Yiming Chen, Junlin Han, Tianyi Bai, Shengbang Tong, Filippos Kokkinos, Philip Torr

cs.AI

Samenvatting

Hoewel Multimodale Large Language Models (MLLM's) bedreven zijn in het beantwoorden van wat er in een afbeelding te zien is - zoals het identificeren van objecten en het beschrijven van scènes - ontbreekt het hen vaak aan het vermogen om aan te voelen hoe een afbeelding overkomt op een menselijke waarnemer. Deze kloof wordt het duidelijkst bij het beschouwen van subjectieve cognitieve eigenschappen, zoals wat een afbeelding gedenkwaardig, grappig, esthetisch plezierig of emotioneel evocatief maakt. Om deze uitdaging systematisch aan te pakken, introduceren we CogIP-Bench, een uitgebreide benchmark voor het evalueren van MLLM's op dergelijke cognitieve beeld eigenschappen. Onze evaluatie toont een significante kloof aan: huidige modellen sluiten slecht aan bij de menselijke perceptie van deze genuanceerde eigenschappen. Vervolgens tonen we aan dat een nazorgfase (post-training) deze kloof effectief kan overbruggen, waardoor de afstemming van het model met menselijke oordelen aanzienlijk verbetert. Verder laten we zien dat deze aangeleerde cognitieve afstemming niet alleen voorspellend is, maar ook overdraagbaar is naar creatieve downstreamtaken. Door onze cognitief afgestemde MLLM te integreren in een beeldgeneratiepijplijn, kunnen we het syntheseproces sturen om afbeeldingen te produceren die beter de gewenste eigenschappen belichamen, zoals gedenkwaardiger of visueel aantrekkelijker zijn. Ons werk biedt een benchmark om deze mensachtige perceptie te meten, een nazorgpijplijn om deze te verbeteren, en een demonstratie dat deze afstemming AI meer mensgericht maakt.

English

While Multimodal Large Language Models (MLLMs) are adept at answering what is in an image-identifying objects and describing scenes-they often lack the ability to understand how an image feels to a human observer. This gap is most evident when considering subjective cognitive properties, such as what makes an image memorable, funny, aesthetically pleasing, or emotionally evocative. To systematically address this challenge, we introduce CogIP-Bench, a comprehensive benchmark for evaluating MLLMs on such image cognitive properties. Our evaluation reveals a significant gap: current models are poorly aligned with human perception of these nuanced properties. We then demonstrate that a post-training phase can effectively bridge this gap, significantly enhancing the model's alignment with human judgments. Furthermore, we show that this learned cognitive alignment is not merely predictive but also transferable to downstream creative tasks. By integrating our cognitively-aligned MLLM into an image generation pipeline, we can guide the synthesis process to produce images that better embody desired traits, such as being more memorable or visually appealing. Our work provides a benchmark to measure this human-like perception, a post-training pipeline to enhance it, and a demonstration that this alignment unlocks more human-centric AI.