Kann textuelles Denken die Leistung von MLLMs bei feinkörniger visueller Klassifizierung verbessern?
Can Textual Reasoning Improve the Performance of MLLMs on Fine-grained Visual Classification?
January 11, 2026
papers.authors: Jie Zhu, Yiyang Su, Xiaoming Liu
cs.AI
papers.abstract
Multimodale große Sprachmodelle (MLLMs) zeigen starke Allzweckfähigkeiten, haben aber nach wie vor Schwierigkeiten mit der feingranularen visuellen Klassifikation (FGVC), einer zentralen Wahrnehmungsaufgabe, die subtile visuelle Unterscheidung erfordert und für viele reale Anwendungen entscheidend ist. Eine weit verbreitete Strategie zur Steigerung der Leistung bei anspruchsvollen Aufgaben wie Mathematik und Programmieren ist die Chain-of-Thought (CoT)-Argumentation. Mehrere frühere Arbeiten haben jedoch berichtet, dass CoT die Leistung bei visuellen Wahrnehmungsaufgaben tatsächlich beeinträchtigen kann. Diese Studien betrachten das Problem jedoch aus relativ engen Blickwinkeln und lassen offen, warum CoT die leistungsintensive Wahrnehmung verschlechtert. Wir untersuchen die Rolle von CoT in FGVC systematisch neu durch die Linse der Zero-Shot-Evaluierung und mehrerer Trainingsparadigmen. In diesen Settings decken wir ein zentrales Paradoxon auf: Die durch CoT verursachte Verschlechterung wird maßgeblich durch die Argumentationslänge vorangetrieben, wobei längere textuelle Argumentation konsequent die Klassifikationsgenauigkeit verringert. Wir bezeichnen dieses Phänomen als die „Kosten des Denkens“ (Cost of Thinking). Aufbauend auf dieser Erkenntnis leisten wir zwei zentrale Beiträge: (1) \alg, eine einfache und allgemeine Plug-and-Play-Normalisierungsmethode für die Multi-Reward-Optimierung, die heterogene Belohnungssignale ausbalanciert, und (2) ReFine-RFT, ein Framework, das Ensemble-Belohnungen mit \alg kombiniert, um die Argumentationslänge zu begrenzen und gleichzeitig dichte, auf Genauigkeit ausgerichtete Rückmeldungen zu liefern. Umfangreiche Experimente belegen die Wirksamkeit unserer Erkenntnisse und des vorgeschlagenen ReFine-RFT, das state-of-the-art Leistung über FGVC-Benchmarks hinweg erzielt. Code und Modelle sind verfügbar unter https://github.com/jiezhu23/ReFine-RFT{Projektlink}.
English
Multi-modal large language models (MLLMs) exhibit strong general-purpose capabilities, yet still struggle on Fine-Grained Visual Classification (FGVC), a core perception task that requires subtle visual discrimination and is crucial for many real-world applications. A widely adopted strategy for boosting performance on challenging tasks such as math and coding is Chain-of-Thought (CoT) reasoning. However, several prior works have reported that CoT can actually harm performance on visual perception tasks. These studies, though, examine the issue from relatively narrow angles and leave open why CoT degrades perception-heavy performance. We systematically re-examine the role of CoT in FGVC through the lenses of zero-shot evaluation and multiple training paradigms. Across these settings, we uncover a central paradox: the degradation induced by CoT is largely driven by the reasoning length, in which longer textual reasoning consistently lowers classification accuracy. We term this phenomenon the ``Cost of Thinking''. Building on this finding, we make two key contributions: (1) \alg, a simple and general plug-and-play normalization method for multi-reward optimization that balances heterogeneous reward signals, and (2) ReFine-RFT, a framework that combines ensemble rewards with \alg to constrain reasoning length while providing dense accuracy-oriented feedback. Extensive experiments demonstrate the effectiveness of our findings and the proposed ReFine-RFT, achieving state-of-the-art performance across FGVC benchmarks. Code and models are available at https://github.com/jiezhu23/ReFine-RFT{Project Link}.