Lasciate che gli androidi sognino pecore elettriche: un framework di comprensione e ragionamento per implicazioni di immagini umanoidi
Let Androids Dream of Electric Sheep: A Human-like Image Implication Understanding and Reasoning Framework
May 22, 2025
Autori: Chenhao Zhang, Yazhe Niu
cs.AI
Abstract
La comprensione metaforica nelle immagini rimane una sfida cruciale per i sistemi di intelligenza artificiale, poiché i modelli esistenti faticano a cogliere le implicazioni culturali, emotive e contestuali sottili incorporate nei contenuti visivi. Sebbene i modelli linguistici multimodali di grandi dimensioni (MLLMs) eccellano nei compiti di base di risposta a domande visive (VQA), presentano una limitazione fondamentale nei compiti di implicazione delle immagini: lacune contestuali che oscurano le relazioni tra diversi elementi visivi e i loro significati astratti. Ispirati dal processo cognitivo umano, proponiamo Let Androids Dream (LAD), un nuovo framework per la comprensione e il ragionamento sulle implicazioni delle immagini. LAD affronta le mancanze contestuali attraverso un framework in tre fasi: (1) Percezione: conversione delle informazioni visive in rappresentazioni testuali ricche e multilivello, (2) Ricerca: ricerca iterativa e integrazione di conoscenze cross-dominio per risolvere le ambiguità, e (3) Ragionamento: generazione di implicazioni delle immagini allineate al contesto attraverso un ragionamento esplicito. Il nostro framework, con il modello leggero GPT-4o-mini, raggiunge prestazioni all'avanguardia rispetto a oltre 15 MLLMs sul benchmark di implicazione delle immagini in inglese e un notevole miglioramento sul benchmark cinese, ottenendo risultati comparabili al modello GPT-4o nelle domande a scelta multipla (MCQ) e superandolo del 36,7% nelle domande aperte (OSQ). Inoltre, il nostro lavoro offre nuove intuizioni su come l'IA possa interpretare più efficacemente le implicazioni delle immagini, avanzando il campo del ragionamento visivo-linguistico e dell'interazione uomo-IA. Il nostro progetto è disponibile pubblicamente all'indirizzo https://github.com/MING-ZCH/Let-Androids-Dream-of-Electric-Sheep.
English
Metaphorical comprehension in images remains a critical challenge for AI
systems, as existing models struggle to grasp the nuanced cultural, emotional,
and contextual implications embedded in visual content. While multimodal large
language models (MLLMs) excel in basic Visual Question Answer (VQA) tasks, they
struggle with a fundamental limitation on image implication tasks: contextual
gaps that obscure the relationships between different visual elements and their
abstract meanings. Inspired by the human cognitive process, we propose Let
Androids Dream (LAD), a novel framework for image implication understanding and
reasoning. LAD addresses contextual missing through the three-stage framework:
(1) Perception: converting visual information into rich and multi-level textual
representations, (2) Search: iteratively searching and integrating cross-domain
knowledge to resolve ambiguity, and (3) Reasoning: generating context-alignment
image implication via explicit reasoning. Our framework with the lightweight
GPT-4o-mini model achieves SOTA performance compared to 15+ MLLMs on English
image implication benchmark and a huge improvement on Chinese benchmark,
performing comparable with the GPT-4o model on Multiple-Choice Question (MCQ)
and outperforms 36.7% on Open-Style Question (OSQ). Additionally, our work
provides new insights into how AI can more effectively interpret image
implications, advancing the field of vision-language reasoning and human-AI
interaction. Our project is publicly available at
https://github.com/MING-ZCH/Let-Androids-Dream-of-Electric-Sheep.