Deja que los androides sueñen con ovejas eléctricas: Un marco de implicación, comprensión y razonamiento de imágenes con características humanas

Let Androids Dream of Electric Sheep: A Human-like Image Implication Understanding and Reasoning Framework

May 22, 2025

Autores: Chenhao Zhang, Yazhe Niu

cs.AI

Resumen

La comprensión metafórica en imágenes sigue siendo un desafío crítico para los sistemas de IA, ya que los modelos existentes tienen dificultades para captar las implicaciones culturales, emocionales y contextuales matizadas presentes en el contenido visual. Aunque los modelos de lenguaje multimodal de gran escala (MLLMs, por sus siglas en inglés) sobresalen en tareas básicas de Respuesta a Preguntas Visuales (VQA), enfrentan una limitación fundamental en tareas de implicación visual: brechas contextuales que oscurecen las relaciones entre los diferentes elementos visuales y sus significados abstractos. Inspirados por el proceso cognitivo humano, proponemos Let Androids Dream (LAD), un marco novedoso para la comprensión y razonamiento de implicaciones visuales. LAD aborda la falta de contexto a través de un marco de tres etapas: (1) Percepción: convertir la información visual en representaciones textuales ricas y multinivel, (2) Búsqueda: buscar e integrar iterativamente conocimiento de múltiples dominios para resolver ambigüedades, y (3) Razonamiento: generar implicaciones visuales alineadas con el contexto mediante un razonamiento explícito. Nuestro marco, junto con el modelo ligero GPT-4o-mini, logra un rendimiento de vanguardia (SOTA) en comparación con más de 15 MLLMs en el benchmark de implicación visual en inglés y una mejora significativa en el benchmark en chino, obteniendo un desempeño comparable con el modelo GPT-4o en Preguntas de Opción Múltiple (MCQ) y superándolo en un 36.7% en Preguntas de Estilo Abierto (OSQ). Además, nuestro trabajo ofrece nuevas perspectivas sobre cómo la IA puede interpretar de manera más efectiva las implicaciones visuales, avanzando en el campo del razonamiento visión-lenguaje y la interacción humano-IA. Nuestro proyecto está disponible públicamente en https://github.com/MING-ZCH/Let-Androids-Dream-of-Electric-Sheep.

English

Metaphorical comprehension in images remains a critical challenge for AI systems, as existing models struggle to grasp the nuanced cultural, emotional, and contextual implications embedded in visual content. While multimodal large language models (MLLMs) excel in basic Visual Question Answer (VQA) tasks, they struggle with a fundamental limitation on image implication tasks: contextual gaps that obscure the relationships between different visual elements and their abstract meanings. Inspired by the human cognitive process, we propose Let Androids Dream (LAD), a novel framework for image implication understanding and reasoning. LAD addresses contextual missing through the three-stage framework: (1) Perception: converting visual information into rich and multi-level textual representations, (2) Search: iteratively searching and integrating cross-domain knowledge to resolve ambiguity, and (3) Reasoning: generating context-alignment image implication via explicit reasoning. Our framework with the lightweight GPT-4o-mini model achieves SOTA performance compared to 15+ MLLMs on English image implication benchmark and a huge improvement on Chinese benchmark, performing comparable with the GPT-4o model on Multiple-Choice Question (MCQ) and outperforms 36.7% on Open-Style Question (OSQ). Additionally, our work provides new insights into how AI can more effectively interpret image implications, advancing the field of vision-language reasoning and human-AI interaction. Our project is publicly available at https://github.com/MING-ZCH/Let-Androids-Dream-of-Electric-Sheep.