MMRefine: Aufdeckung der Hindernisse für eine robuste Verfeinerung in multimodalen großen Sprachmodellen
MMRefine: Unveiling the Obstacles to Robust Refinement in Multimodal Large Language Models
June 5, 2025
Autoren: Gio Paik, Geewook Kim, Jinbae Im
cs.AI
Zusammenfassung
Dieses Paper stellt MMRefine vor, einen MultiModal Refinement-Benchmark, der entwickelt wurde, um die Fähigkeiten von Multimodalen Großen Sprachmodellen (MLLMs) zur Fehlerverfeinerung zu bewerten. Da der Schwerpunkt zunehmend auf die Verbesserung des Schlussfolgerns während der Inferenz gelegt wird, bietet MMRefine ein Framework, das die Fähigkeiten von MLLMs zur Erkennung und Korrektur von Fehlern in sechs verschiedenen Szenarien über den bloßen Vergleich der Endgenauigkeit vor und nach der Verfeinerung hinaus bewertet. Darüber hinaus analysiert der Benchmark die Verfeinerungsleistung, indem Fehler in sechs Fehlertypen kategorisiert werden. Experimente mit verschiedenen offenen und geschlossenen MLLMs offenbaren Engpässe und Faktoren, die die Verfeinerungsleistung behindern, und heben Bereiche für Verbesserungen in der effektiven Steigerung der Schlussfolgerungsfähigkeit hervor. Unser Code und Datensatz sind öffentlich unter https://github.com/naver-ai/MMRefine verfügbar.
English
This paper introduces MMRefine, a MultiModal Refinement benchmark designed to
evaluate the error refinement capabilities of Multimodal Large Language Models
(MLLMs). As the emphasis shifts toward enhancing reasoning during inference,
MMRefine provides a framework that evaluates MLLMs' abilities to detect and
correct errors across six distinct scenarios beyond just comparing final
accuracy before and after refinement. Furthermore, the benchmark analyzes the
refinement performance by categorizing errors into six error types. Experiments
with various open and closed MLLMs reveal bottlenecks and factors impeding
refinement performance, highlighting areas for improvement in effective
reasoning enhancement. Our code and dataset are publicly available at
https://github.com/naver-ai/MMRefine.