InterFeedback: 大規模マルチモーダルモデルのインタラクティブ知能を人間のフィードバックを通じて解明する

InterFeedback: Unveiling Interactive Intelligence of Large Multimodal Models via Human Feedback

February 20, 2025

著者: Henry Hengyuan Zhao, Wenqi Pei, Yifei Tao, Haiyang Mei, Mike Zheng Shou

cs.AI

要旨

既存のベンチマークは、汎用AIアシスタントの開発において重要な、人間のユーザーとのインタラクティブな知能を大規模マルチモーダルモデル（LMM）に対してテストしていない。我々は、この能力を自律的に評価するために、任意のLMMとデータセットに適用可能なインタラクティブなフレームワークであるInterFeedbackを設計した。さらに、MMMU-ProとMathVerseという2つの代表的なデータセットを使用して10種類のオープンソースLMMをテストするInterFeedback-Benchを導入した。加えて、OpenAI-o1やClaude-3.5-Sonnetなどの主要モデルのインタラクティブな性能を手動でテストするために新たに収集した120ケースのデータセットであるInterFeedback-Humanを提示した。評価結果は、OpenAI-o1のような最先端のLMMでさえ、人間のフィードバックを通じて結果を修正できる割合が50%未満であることを示している。我々の知見は、LMMがフィードバックを解釈し、それを活用する能力を向上させる方法の必要性を示唆している。

English

Existing benchmarks do not test Large Multimodal Models (LMMs) on their interactive intelligence with human users which is vital for developing general-purpose AI assistants. We design InterFeedback, an interactive framework, which can be applied to any LMM and dataset to assess this ability autonomously. On top of this, we introduce InterFeedback-Bench which evaluates interactive intelligence using two representative datasets, MMMU-Pro and MathVerse, to test 10 different open-source LMMs. Additionally, we present InterFeedback-Human, a newly collected dataset of 120 cases designed for manually testing interactive performance in leading models such as OpenAI-o1 and Claude-3.5-Sonnet. Our evaluation results show that even state-of-the-art LMM (like OpenAI-o1) can correct their results through human feedback less than 50%. Our findings point to the need for methods that can enhance the LMMs' capability to interpret and benefit from feedback.