Et si les androïdes rêvaient de moutons électriques : Un cadre de compréhension et de raisonnement pour les implications d'images à caractère humain

Let Androids Dream of Electric Sheep: A Human-like Image Implication Understanding and Reasoning Framework

May 22, 2025

Auteurs: Chenhao Zhang, Yazhe Niu

cs.AI

Résumé

La compréhension métaphorique dans les images reste un défi majeur pour les systèmes d'IA, car les modèles existants peinent à saisir les implications culturelles, émotionnelles et contextuelles nuancées intégrées dans le contenu visuel. Bien que les modèles de langage multimodaux de grande taille (MLLMs) excellent dans les tâches de base de réponse à des questions visuelles (VQA), ils rencontrent une limitation fondamentale dans les tâches d'implication visuelle : des lacunes contextuelles qui obscurcissent les relations entre les différents éléments visuels et leurs significations abstraites. Inspirés par le processus cognitif humain, nous proposons Let Androids Dream (LAD), un nouveau cadre pour la compréhension et le raisonnement des implications visuelles. LAD aborde les lacunes contextuelles à travers un cadre en trois étapes : (1) Perception : conversion des informations visuelles en représentations textuelles riches et multi-niveaux, (2) Recherche : recherche itérative et intégration de connaissances interdomaines pour résoudre les ambiguïtés, et (3) Raisonnement : génération d'implications visuelles alignées sur le contexte via un raisonnement explicite. Notre cadre, associé au modèle léger GPT-4o-mini, atteint des performances de pointe par rapport à plus de 15 MLLMs sur un benchmark d'implication visuelle en anglais et montre une amélioration significative sur un benchmark en chinois, obtenant des résultats comparables au modèle GPT-4o sur les questions à choix multiples (MCQ) et surpassant de 36,7 % les questions à réponse ouverte (OSQ). De plus, notre travail apporte de nouvelles perspectives sur la manière dont l'IA peut interpréter plus efficacement les implications visuelles, faisant progresser le domaine du raisonnement vision-langage et de l'interaction humain-IA. Notre projet est disponible publiquement à l'adresse https://github.com/MING-ZCH/Let-Androids-Dream-of-Electric-Sheep.

English

Metaphorical comprehension in images remains a critical challenge for AI systems, as existing models struggle to grasp the nuanced cultural, emotional, and contextual implications embedded in visual content. While multimodal large language models (MLLMs) excel in basic Visual Question Answer (VQA) tasks, they struggle with a fundamental limitation on image implication tasks: contextual gaps that obscure the relationships between different visual elements and their abstract meanings. Inspired by the human cognitive process, we propose Let Androids Dream (LAD), a novel framework for image implication understanding and reasoning. LAD addresses contextual missing through the three-stage framework: (1) Perception: converting visual information into rich and multi-level textual representations, (2) Search: iteratively searching and integrating cross-domain knowledge to resolve ambiguity, and (3) Reasoning: generating context-alignment image implication via explicit reasoning. Our framework with the lightweight GPT-4o-mini model achieves SOTA performance compared to 15+ MLLMs on English image implication benchmark and a huge improvement on Chinese benchmark, performing comparable with the GPT-4o model on Multiple-Choice Question (MCQ) and outperforms 36.7% on Open-Style Question (OSQ). Additionally, our work provides new insights into how AI can more effectively interpret image implications, advancing the field of vision-language reasoning and human-AI interaction. Our project is publicly available at https://github.com/MING-ZCH/Let-Androids-Dream-of-Electric-Sheep.