MMRefine: Svelare gli Ostacoli al Raffinamento Robusto nei Modelli Linguistici Multimodali di Grande Scala
MMRefine: Unveiling the Obstacles to Robust Refinement in Multimodal Large Language Models
June 5, 2025
Autori: Gio Paik, Geewook Kim, Jinbae Im
cs.AI
Abstract
Questo articolo presenta MMRefine, un benchmark di Affinamento Multimodale progettato per valutare le capacità di correzione degli errori dei Modelli Linguistici Multimodali di Grande Dimensione (MLLMs). Con l'attenzione che si sposta verso il miglioramento del ragionamento durante l'inferenza, MMRefine fornisce un framework che valuta le capacità degli MLLMs di rilevare e correggere errori in sei scenari distinti, andando oltre il semplice confronto dell'accuratezza finale prima e dopo l'affinamento. Inoltre, il benchmark analizza le prestazioni di affinamento categorizzando gli errori in sei tipologie. Esperimenti condotti con vari MLLMs open e closed rivelano colli di bottiglia e fattori che ostacolano le prestazioni di affinamento, evidenziando aree di miglioramento per un potenziamento efficace del ragionamento. Il nostro codice e il dataset sono disponibili pubblicamente all'indirizzo https://github.com/naver-ai/MMRefine.
English
This paper introduces MMRefine, a MultiModal Refinement benchmark designed to
evaluate the error refinement capabilities of Multimodal Large Language Models
(MLLMs). As the emphasis shifts toward enhancing reasoning during inference,
MMRefine provides a framework that evaluates MLLMs' abilities to detect and
correct errors across six distinct scenarios beyond just comparing final
accuracy before and after refinement. Furthermore, the benchmark analyzes the
refinement performance by categorizing errors into six error types. Experiments
with various open and closed MLLMs reveal bottlenecks and factors impeding
refinement performance, highlighting areas for improvement in effective
reasoning enhancement. Our code and dataset are publicly available at
https://github.com/naver-ai/MMRefine.