Laat Androïden Dromen van Elektrische Schapen: Een Mensachtig Beeldimplicatie Begrijpen en Redeneren Framework
Let Androids Dream of Electric Sheep: A Human-like Image Implication Understanding and Reasoning Framework
May 22, 2025
Auteurs: Chenhao Zhang, Yazhe Niu
cs.AI
Samenvatting
Metaforisch begrip in afbeeldingen blijft een kritieke uitdaging voor AI-systemen, aangezien bestaande modellen moeite hebben om de genuanceerde culturele, emotionele en contextuele implicaties in visuele content te begrijpen. Hoewel multimodale grote taalmodellen (MLLMs) uitblinken in basale Visual Question Answer (VQA)-taken, kampen ze met een fundamentele beperking bij beeldimplicatietaken: contextuele hiaten die de relaties tussen verschillende visuele elementen en hun abstracte betekenissen vertroebelen. Geïnspireerd door het menselijk cognitieve proces, stellen we Let Androids Dream (LAD) voor, een nieuw raamwerk voor het begrijpen en redeneren over beeldimplicaties. LAD adresseert ontbrekende context via een driestappenraamwerk: (1) Perceptie: het omzetten van visuele informatie in rijke en meerdere niveaus omvattende tekstuele representaties, (2) Zoeken: iteratief zoeken en integreren van kennis uit verschillende domeinen om ambiguïteit op te lossen, en (3) Redeneren: het genereren van context-afgestemde beeldimplicaties via expliciet redeneren. Ons raamwerk met het lichtgewicht GPT-4o-mini-model behaalt state-of-the-art (SOTA) prestaties in vergelijking met meer dan 15 MLLMs op de Engelse beeldimplicatiebenchmark en een aanzienlijke verbetering op de Chinese benchmark, waarbij het vergelijkbaar presteert met het GPT-4o-model op Multiple-Choice Question (MCQ) en 36,7% beter scoort op Open-Style Question (OSQ). Daarnaast biedt ons werk nieuwe inzichten in hoe AI beeldimplicaties effectiever kan interpreteren, wat het veld van visie-taalredenering en mens-AI-interactie vooruithelpt. Ons project is publiekelijk beschikbaar op https://github.com/MING-ZCH/Let-Androids-Dream-of-Electric-Sheep.
English
Metaphorical comprehension in images remains a critical challenge for AI
systems, as existing models struggle to grasp the nuanced cultural, emotional,
and contextual implications embedded in visual content. While multimodal large
language models (MLLMs) excel in basic Visual Question Answer (VQA) tasks, they
struggle with a fundamental limitation on image implication tasks: contextual
gaps that obscure the relationships between different visual elements and their
abstract meanings. Inspired by the human cognitive process, we propose Let
Androids Dream (LAD), a novel framework for image implication understanding and
reasoning. LAD addresses contextual missing through the three-stage framework:
(1) Perception: converting visual information into rich and multi-level textual
representations, (2) Search: iteratively searching and integrating cross-domain
knowledge to resolve ambiguity, and (3) Reasoning: generating context-alignment
image implication via explicit reasoning. Our framework with the lightweight
GPT-4o-mini model achieves SOTA performance compared to 15+ MLLMs on English
image implication benchmark and a huge improvement on Chinese benchmark,
performing comparable with the GPT-4o model on Multiple-Choice Question (MCQ)
and outperforms 36.7% on Open-Style Question (OSQ). Additionally, our work
provides new insights into how AI can more effectively interpret image
implications, advancing the field of vision-language reasoning and human-AI
interaction. Our project is publicly available at
https://github.com/MING-ZCH/Let-Androids-Dream-of-Electric-Sheep.