差異が重要である：能力ギャップの発見と是正のためのモデル監査

要旨

従来のマルチモーダルLLM（MLLM）の評価手法は解釈性に欠け、モデル間の重要な能力差を十分に明らかにできないことが多い。この問題に対処するため、我々はAuditDMを提案する。これはMLLMの分岐を監査することで、能動的に失敗モードを発見し修正する自動化フレームワークである。AuditDMは強化学習によりMLLMを監査者としてファインチューニングし、対象モデル間の不一致を最大化する挑戦的な質問と反事実的画像を生成する。一度訓練されると、この監査者はモデルの弱点を明らかにする多様で解釈可能な事例を発見し、それらは修正のためのアノテーションフリーデータとして機能する。Gemma-3やPaliGemma-2などのSoTAモデルに適用した結果、AuditDMは20以上の異なる失敗タイプを発見した。これらの発見に基づくファインチューニングは、16のベンチマークですべてのモデルの性能を一貫して向上させ、3Bモデルが28Bモデルを凌駕することを可能にした。我々の結果は、データスケーリングの限界が近づく中、標的型モデル監査がモデルの診断と改善における効果的な道筋を提供することを示唆している。

English

Conventional evaluation methods for multimodal LLMs (MLLMs) lack interpretability and are often insufficient to fully disclose significant capability gaps across models. To address this, we introduce AuditDM, an automated framework that actively discovers and rectifies MLLM failure modes by auditing their divergence. AuditDM fine-tunes an MLLM as an auditor via reinforcement learning to generate challenging questions and counterfactual images that maximize disagreement among target models. Once trained, the auditor uncovers diverse, interpretable exemplars that reveal model weaknesses and serve as annotation-free data for rectification. When applied to SoTA models like Gemma-3 and PaliGemma-2, AuditDM discovers more than 20 distinct failure types. Fine-tuning on these discoveries consistently improves all models across 16 benchmarks, and enables a 3B model to surpass its 28B counterpart. Our results suggest that as data scaling hits diminishing returns, targeted model auditing offers an effective path to model diagnosis and improvement.

差異が重要である：能力ギャップの発見と是正のためのモデル監査

Differences That Matter: Auditing Models for Capability Gap Discovery and Rectification

要旨

Support