Kritik am Feintuning: Das Erlernen von Kritik ist effektiver als das Erlernen von Imitation.

Critique Fine-Tuning: Learning to Critique is More Effective than Learning to Imitate

January 29, 2025

Autoren: Yubo Wang, Xiang Yue, Wenhu Chen

cs.AI

Zusammenfassung

Überwachtes Feinabstimmung (SFT) wird häufig verwendet, um Sprachmodelle darauf zu trainieren, annotierte Antworten für gegebene Anweisungen zu imitieren. In diesem Paper fordern wir dieses Paradigma heraus und schlagen Kritik-Feinabstimmung (CFT) vor, eine Strategie, bei der Modelle lernen, fehlerhafte Antworten zu kritisieren, anstatt einfach korrekte zu imitieren. Inspiriert von menschlichen Lernprozessen, die kritisches Denken betonen, fördert CFT eine tiefere Analyse und nuancierteres Verständnis - Eigenschaften, die oft von Standard-SFT übersehen werden. Zur Validierung der Wirksamkeit von CFT erstellen wir einen Datensatz mit 50.000 Beispielen aus WebInstruct, wobei GPT-4o als Lehrer verwendet wird, um Kritiken in Form von (Eingabe=[Abfrage; fehlerhafte Antwort], Ausgabe=Kritik) zu generieren. CFT auf diesem Datensatz führt zu einer konsistenten Verbesserung von 4-10% gegenüber SFT auf sechs Mathe-Benchmarks mit verschiedenen Basismodellen wie Qwen2.5, Qwen2.5-Math und DeepSeek-Math. Wir erweitern weiter zu MetaMath und NuminaMath Datensätzen und beobachten ähnliche Verbesserungen gegenüber SFT. Bemerkenswert ist, dass unser Qwen2.5-Math-CFT-Modell, das nur mit 50.000 Beispielen trainiert wurde, mit oder übertrifft Wettbewerbsmodelle wie AceMath und Qwen2.5-Math-Instruct auf den meisten Benchmarks, die jeweils über 2 Millionen Beispiele verwenden. Ablationsstudien zeigen, dass CFT robust gegenüber der Quelle der fehlerhaften Antwort und dem Lehrerkritikmodell ist. Anhand dieser Ergebnisse argumentieren wir, dass ein auf Kritik basierendes Training eine effektivere Alternative bietet, um das Denken von Sprachmodellen voranzutreiben.

English

Supervised Fine-Tuning (SFT) is commonly used to train language models to imitate annotated responses for given instructions. In this paper, we challenge this paradigm and propose Critique Fine-Tuning (CFT), a strategy where models learn to critique noisy responses rather than simply imitate correct ones. Inspired by human learning processes that emphasize critical thinking, CFT encourages deeper analysis and nuanced understanding-traits often overlooked by standard SFT. To validate the effectiveness of CFT, we construct a 50K-sample dataset from WebInstruct, using GPT-4o as the teacher to generate critiques in the form of (input=[query; noisy response], output=critique). CFT on this dataset yields a consistent 4-10% improvement over SFT on six math benchmarks with different base models like Qwen2.5, Qwen2.5-Math and DeepSeek-Math. We further expand to MetaMath and NuminaMath datasets and observe similar gains over SFT. Notably, our Qwen2.5-Math-CFT model-trained on just 50K samples-matches or outperforms competitive models such as AceMath and Qwen2.5-Math-Instruct on most benchmarks, both of which use over 2M samples. Ablation studies show that CFT is robust to the source of noisy response and teacher critique model. Through these findings, we argue that critique-based training offers a more effective alternative to advance the reasoning of language models.