InterFeedback: Svelare l'Intelligenza Interattiva dei Modelli Multimodali di Grande Scala tramite Feedback Umano

InterFeedback: Unveiling Interactive Intelligence of Large Multimodal Models via Human Feedback

February 20, 2025

Autori: Henry Hengyuan Zhao, Wenqi Pei, Yifei Tao, Haiyang Mei, Mike Zheng Shou

cs.AI

Abstract

I benchmark esistenti non testano i Modelli Multimodali di Grande Scala (LMM) sulla loro intelligenza interattiva con gli utenti umani, un aspetto cruciale per lo sviluppo di assistenti AI a scopo generale. Progettiamo InterFeedback, un framework interattivo che può essere applicato a qualsiasi LMM e dataset per valutare autonomamente questa capacità. Inoltre, introduciamo InterFeedback-Bench, che valuta l'intelligenza interattiva utilizzando due dataset rappresentativi, MMMU-Pro e MathVerse, per testare 10 diversi LMM open-source. Presentiamo anche InterFeedback-Human, un nuovo dataset di 120 casi raccolto appositamente per testare manualmente le prestazioni interattive in modelli leader come OpenAI-o1 e Claude-3.5-Sonnet. I nostri risultati di valutazione mostrano che anche i LMM all'avanguardia (come OpenAI-o1) riescono a correggere i propri risultati attraverso il feedback umano meno del 50% delle volte. Le nostre scoperte evidenziano la necessità di metodi che possano migliorare la capacità dei LMM di interpretare e trarre vantaggio dal feedback.

English

Existing benchmarks do not test Large Multimodal Models (LMMs) on their interactive intelligence with human users which is vital for developing general-purpose AI assistants. We design InterFeedback, an interactive framework, which can be applied to any LMM and dataset to assess this ability autonomously. On top of this, we introduce InterFeedback-Bench which evaluates interactive intelligence using two representative datasets, MMMU-Pro and MathVerse, to test 10 different open-source LMMs. Additionally, we present InterFeedback-Human, a newly collected dataset of 120 cases designed for manually testing interactive performance in leading models such as OpenAI-o1 and Claude-3.5-Sonnet. Our evaluation results show that even state-of-the-art LMM (like OpenAI-o1) can correct their results through human feedback less than 50%. Our findings point to the need for methods that can enhance the LMMs' capability to interpret and benefit from feedback.