DRISHTIKON: インド文化理解のための多モーダル多言語ベンチマーク

要旨

私たちは、インド文化に特化した初のマルチモーダルかつ多言語ベンチマーク「DRISHTIKON」を紹介します。このベンチマークは、生成AIシステムの文化的理解力を評価するために設計されています。既存の汎用的またはグローバルな範囲を持つベンチマークとは異なり、DRISHTIKONはインドの多様な地域にわたる深く細かいカバレッジを提供し、15の言語を網羅し、すべての州と連邦直轄領をカバーし、64,000以上の整列されたテキスト-画像ペアを組み込んでいます。このデータセットは、祭り、衣装、料理、芸術形式、歴史的遺産など、豊かな文化的テーマを捉えています。私たちは、オープンソースの小型および大型モデル、プロプライエタリシステム、推論に特化したVLM、インドに焦点を当てたモデルなど、幅広い視覚-言語モデル（VLM）をゼロショットおよび連鎖思考設定で評価します。私たちの結果は、特に低リソース言語やあまり文書化されていない伝統において、文化的に根ざしたマルチモーダル入力に対する現在のモデルの推論能力の主要な限界を明らかにします。DRISHTIKONは、包括的なAI研究における重要なギャップを埋め、文化的に意識されたマルチモーダル能力を持つ言語技術を進歩させるための堅牢なテストベッドを提供します。

English

We introduce DRISHTIKON, a first-of-its-kind multimodal and multilingual benchmark centered exclusively on Indian culture, designed to evaluate the cultural understanding of generative AI systems. Unlike existing benchmarks with a generic or global scope, DRISHTIKON offers deep, fine-grained coverage across India's diverse regions, spanning 15 languages, covering all states and union territories, and incorporating over 64,000 aligned text-image pairs. The dataset captures rich cultural themes including festivals, attire, cuisines, art forms, and historical heritage amongst many more. We evaluate a wide range of vision-language models (VLMs), including open-source small and large models, proprietary systems, reasoning-specialized VLMs, and Indic-focused models, across zero-shot and chain-of-thought settings. Our results expose key limitations in current models' ability to reason over culturally grounded, multimodal inputs, particularly for low-resource languages and less-documented traditions. DRISHTIKON fills a vital gap in inclusive AI research, offering a robust testbed to advance culturally aware, multimodally competent language technologies.

DRISHTIKON: インド文化理解のための多モーダル多言語ベンチマーク

DRISHTIKON: A Multimodal Multilingual Benchmark for Testing Language Models' Understanding on Indian Culture

要旨

Support