NL-Eye: Абдуктивное NLI для изображений

NL-Eye: Abductive NLI for Images

October 3, 2024

Авторы: Mor Ventura, Michael Toker, Nitay Calderon, Zorik Gekhman, Yonatan Bitton, Roi Reichart

cs.AI

Аннотация

Сможет ли бот на основе визуальной языковой модели (VLM) предупредить нас о скольжении, если он обнаружит мокрый пол? Недавние VLM показали впечатляющие возможности, однако их способность делать выводы о результате и причинах остается недостаточно изученной. Для решения этой проблемы мы представляем NL-Eye, бенчмарк, разработанный для оценки навыков визуального абдуктивного мышления VLM. NL-Eye адаптирует задачу абдуктивного естественного языкового вывода (NLI) к визуальной области, требуя от моделей оценить правдоподобие изображений гипотез на основе изображения предпосылки и объяснить свои решения. NL-Eye состоит из 350 тщательно подобранных троек примеров (1,050 изображений), охватывающих различные категории рассуждений: физические, функциональные, логические, эмоциональные, культурные и социальные. Процесс курирования данных включал два этапа - написание текстовых описаний и создание изображений с использованием моделей текст-в-изображение, оба требующие значительного участия человека для обеспечения высокого качества и сложности сцен. Наши эксперименты показывают, что VLM значительно затрудняются на NL-Eye, часто проявляя произвольные базовые уровни, в то время как люди превосходят их как в предсказании правдоподобности, так и в качестве объяснений. Это демонстрирует недостаток в способностях абдуктивного рассуждения современных VLM. NL-Eye представляет собой важный шаг к развитию VLM, способных к надежному мультимодальному рассуждению для прикладных задач реального мира, включая ботов по предотвращению несчастных случаев и проверку созданных видео.

English

Will a Visual Language Model (VLM)-based bot warn us about slipping if it detects a wet floor? Recent VLMs have demonstrated impressive capabilities, yet their ability to infer outcomes and causes remains underexplored. To address this, we introduce NL-Eye, a benchmark designed to assess VLMs' visual abductive reasoning skills. NL-Eye adapts the abductive Natural Language Inference (NLI) task to the visual domain, requiring models to evaluate the plausibility of hypothesis images based on a premise image and explain their decisions. NL-Eye consists of 350 carefully curated triplet examples (1,050 images) spanning diverse reasoning categories: physical, functional, logical, emotional, cultural, and social. The data curation process involved two steps - writing textual descriptions and generating images using text-to-image models, both requiring substantial human involvement to ensure high-quality and challenging scenes. Our experiments show that VLMs struggle significantly on NL-Eye, often performing at random baseline levels, while humans excel in both plausibility prediction and explanation quality. This demonstrates a deficiency in the abductive reasoning capabilities of modern VLMs. NL-Eye represents a crucial step toward developing VLMs capable of robust multimodal reasoning for real-world applications, including accident-prevention bots and generated video verification.