ChatPaper.aiChatPaper

Пусть андроиды видят сны об электрических овцах: Фреймворк для понимания и рассуждений о человекообразных изображениях

Let Androids Dream of Electric Sheep: A Human-like Image Implication Understanding and Reasoning Framework

May 22, 2025
Авторы: Chenhao Zhang, Yazhe Niu
cs.AI

Аннотация

Понимание метафор в изображениях остается серьезной проблемой для систем ИИ, поскольку существующие модели испытывают трудности с улавливанием тонких культурных, эмоциональных и контекстуальных аспектов, заложенных в визуальном контенте. Хотя мультимодальные большие языковые модели (MLLMs) демонстрируют высокие результаты в базовых задачах визуального ответа на вопросы (VQA), они сталкиваются с фундаментальным ограничением в задачах интерпретации изображений: контекстуальными пробелами, которые затрудняют понимание связей между различными визуальными элементами и их абстрактными значениями. Вдохновленные когнитивным процессом человека, мы предлагаем Let Androids Dream (LAD) — новую структуру для понимания и рассуждения о подтексте изображений. LAD устраняет недостаток контекста с помощью трехэтапной структуры: (1) Восприятие: преобразование визуальной информации в богатые и многоуровневые текстовые представления, (2) Поиск: итеративный поиск и интеграция междисциплинарных знаний для устранения неоднозначности и (3) Рассуждение: генерация контекстуально согласованной интерпретации изображения с помощью явного рассуждения. Наша структура с использованием облегченной модели GPT-4o-mini достигает наилучших результатов (SOTA) по сравнению с более чем 15 MLLMs на английском бенчмарке интерпретации изображений и значительного улучшения на китайском бенчмарке, показывая сопоставимые результаты с моделью GPT-4o в задачах с множественным выбором (MCQ) и превосходя ее на 36,7% в задачах с открытым ответом (OSQ). Кроме того, наша работа предлагает новые идеи о том, как ИИ может более эффективно интерпретировать подтекст изображений, продвигая область визуально-языкового рассуждения и взаимодействия человека с ИИ. Наш проект доступен публично по адресу https://github.com/MING-ZCH/Let-Androids-Dream-of-Electric-Sheep.
English
Metaphorical comprehension in images remains a critical challenge for AI systems, as existing models struggle to grasp the nuanced cultural, emotional, and contextual implications embedded in visual content. While multimodal large language models (MLLMs) excel in basic Visual Question Answer (VQA) tasks, they struggle with a fundamental limitation on image implication tasks: contextual gaps that obscure the relationships between different visual elements and their abstract meanings. Inspired by the human cognitive process, we propose Let Androids Dream (LAD), a novel framework for image implication understanding and reasoning. LAD addresses contextual missing through the three-stage framework: (1) Perception: converting visual information into rich and multi-level textual representations, (2) Search: iteratively searching and integrating cross-domain knowledge to resolve ambiguity, and (3) Reasoning: generating context-alignment image implication via explicit reasoning. Our framework with the lightweight GPT-4o-mini model achieves SOTA performance compared to 15+ MLLMs on English image implication benchmark and a huge improvement on Chinese benchmark, performing comparable with the GPT-4o model on Multiple-Choice Question (MCQ) and outperforms 36.7% on Open-Style Question (OSQ). Additionally, our work provides new insights into how AI can more effectively interpret image implications, advancing the field of vision-language reasoning and human-AI interaction. Our project is publicly available at https://github.com/MING-ZCH/Let-Androids-Dream-of-Electric-Sheep.
PDF43May 23, 2025