NL-Eye: 画像のための帰納的NLI

NL-Eye: Abductive NLI for Images

October 3, 2024

著者: Mor Ventura, Michael Toker, Nitay Calderon, Zorik Gekhman, Yonatan Bitton, Roi Reichart

cs.AI

要旨

ビジュアル言語モデル（VLM）ベースのボットは、床が濡れていることを検出した場合に滑る可能性について警告してくれるでしょうか？最近のVLMは印象的な能力を示していますが、結果や原因を推論する能力は未だに未開拓の領域です。この課題に対処するために、私たちはNL-Eyeを導入します。これは、VLMの視覚的帰紹的推論能力を評価するために設計されたベンチマークです。NL-Eyeは帰紹的自然言語推論（NLI）タスクを視覚領域に適応させ、モデルに、前提画像に基づいて仮説画像の妥当性を評価し、その決定を説明する必要があります。NL-Eyeには、物理的、機能的、論理的、感情的、文化的、社会的な推論カテゴリを網羅する、慎重に選定された350の三つ組例（1,050枚の画像）が含まれています。データのキュレーションプロセスは、テキスト記述の作成とテキストから画像への変換モデルを使用して画像の生成という2つのステップで構成され、いずれも高品質で挑戦的なシーンを確保するために多大な人間の関与が必要でした。私たちの実験では、VLMはNL-Eyeで著しく苦戦し、しばしばランダムなベースラインレベルでのパフォーマンスを示し、一方で人間は妥当性の予測と説明の質の両方で優れていることが示されました。これは、現代のVLMの帰紹的推論能力の不足を示しています。NL-Eyeは、事故予防ボットや生成されたビデオの検証を含む実世界のアプリケーションのために堅牢な多モーダル推論が可能なVLMの開発に向けた重要な一歩を表しています。

English

Will a Visual Language Model (VLM)-based bot warn us about slipping if it detects a wet floor? Recent VLMs have demonstrated impressive capabilities, yet their ability to infer outcomes and causes remains underexplored. To address this, we introduce NL-Eye, a benchmark designed to assess VLMs' visual abductive reasoning skills. NL-Eye adapts the abductive Natural Language Inference (NLI) task to the visual domain, requiring models to evaluate the plausibility of hypothesis images based on a premise image and explain their decisions. NL-Eye consists of 350 carefully curated triplet examples (1,050 images) spanning diverse reasoning categories: physical, functional, logical, emotional, cultural, and social. The data curation process involved two steps - writing textual descriptions and generating images using text-to-image models, both requiring substantial human involvement to ensure high-quality and challenging scenes. Our experiments show that VLMs struggle significantly on NL-Eye, often performing at random baseline levels, while humans excel in both plausibility prediction and explanation quality. This demonstrates a deficiency in the abductive reasoning capabilities of modern VLMs. NL-Eye represents a crucial step toward developing VLMs capable of robust multimodal reasoning for real-world applications, including accident-prevention bots and generated video verification.