NL-Eye : Raisonnement abductif pour l'inférence naturelle d'images

NL-Eye: Abductive NLI for Images

October 3, 2024

Auteurs: Mor Ventura, Michael Toker, Nitay Calderon, Zorik Gekhman, Yonatan Bitton, Roi Reichart

cs.AI

Résumé

Un bot basé sur un Modèle de Langage Visuel (VLM) nous avertira-t-il en cas de glissade s'il détecte un sol mouillé ? Les récents VLM ont démontré des capacités impressionnantes, cependant, leur aptitude à inférer des résultats et des causes reste peu explorée. Pour remédier à cela, nous présentons NL-Eye, une référence conçue pour évaluer les compétences de raisonnement abductif visuel des VLM. NL-Eye adapte la tâche d'Inférence de Langage Naturel (NLI) abductif au domaine visuel, obligeant les modèles à évaluer la plausibilité des images hypothétiques en se basant sur une image de prémisse et à expliquer leurs décisions. NL-Eye se compose de 350 exemples triplés soigneusement sélectionnés (1 050 images) couvrant diverses catégories de raisonnement : physique, fonctionnel, logique, émotionnel, culturel et social. Le processus de curation des données impliquait deux étapes - rédiger des descriptions textuelles et générer des images à l'aide de modèles texte-image, nécessitant toutes deux une implication humaine substantielle pour garantir des scènes de haute qualité et stimulantes. Nos expériences montrent que les VLM rencontrent des difficultés significatives sur NL-Eye, souvent se situant à des niveaux de base aléatoires, tandis que les humains excellent à la fois dans la prédiction de plausibilité et la qualité des explications. Cela démontre une lacune dans les capacités de raisonnement abductif des VLM modernes. NL-Eye représente une étape cruciale vers le développement de VLM capables de raisonnement multimodal robuste pour des applications du monde réel, y compris des bots de prévention des accidents et la vérification vidéo générée.

English

Will a Visual Language Model (VLM)-based bot warn us about slipping if it detects a wet floor? Recent VLMs have demonstrated impressive capabilities, yet their ability to infer outcomes and causes remains underexplored. To address this, we introduce NL-Eye, a benchmark designed to assess VLMs' visual abductive reasoning skills. NL-Eye adapts the abductive Natural Language Inference (NLI) task to the visual domain, requiring models to evaluate the plausibility of hypothesis images based on a premise image and explain their decisions. NL-Eye consists of 350 carefully curated triplet examples (1,050 images) spanning diverse reasoning categories: physical, functional, logical, emotional, cultural, and social. The data curation process involved two steps - writing textual descriptions and generating images using text-to-image models, both requiring substantial human involvement to ensure high-quality and challenging scenes. Our experiments show that VLMs struggle significantly on NL-Eye, often performing at random baseline levels, while humans excel in both plausibility prediction and explanation quality. This demonstrates a deficiency in the abductive reasoning capabilities of modern VLMs. NL-Eye represents a crucial step toward developing VLMs capable of robust multimodal reasoning for real-world applications, including accident-prevention bots and generated video verification.