MMRefine: Выявление препятствий для устойчивого уточнения в мультимодальных больших языковых моделях
MMRefine: Unveiling the Obstacles to Robust Refinement in Multimodal Large Language Models
June 5, 2025
Авторы: Gio Paik, Geewook Kim, Jinbae Im
cs.AI
Аннотация
В данной статье представлен MMRefine, многомодальный бенчмарк для оценки способности многомодальных больших языковых моделей (MLLM) к исправлению ошибок. По мере того как акцент смещается на улучшение рассуждений в процессе вывода, MMRefine предоставляет структуру для оценки способностей MLLM обнаруживать и исправлять ошибки в шести различных сценариях, выходящих за рамки простого сравнения итоговой точности до и после уточнения. Кроме того, бенчмарк анализирует производительность уточнения, классифицируя ошибки на шесть типов. Эксперименты с различными открытыми и закрытыми MLLM выявляют узкие места и факторы, препятствующие эффективному уточнению, подчеркивая области для улучшения в плане усиления рассуждений. Наш код и набор данных доступны по адресу https://github.com/naver-ai/MMRefine.
English
This paper introduces MMRefine, a MultiModal Refinement benchmark designed to
evaluate the error refinement capabilities of Multimodal Large Language Models
(MLLMs). As the emphasis shifts toward enhancing reasoning during inference,
MMRefine provides a framework that evaluates MLLMs' abilities to detect and
correct errors across six distinct scenarios beyond just comparing final
accuracy before and after refinement. Furthermore, the benchmark analyzes the
refinement performance by categorizing errors into six error types. Experiments
with various open and closed MLLMs reveal bottlenecks and factors impeding
refinement performance, highlighting areas for improvement in effective
reasoning enhancement. Our code and dataset are publicly available at
https://github.com/naver-ai/MMRefine.