Critica del Fine-Tuning: Imparare a Criticare è Più Efficace che Imparare ad Imitare

Critique Fine-Tuning: Learning to Critique is More Effective than Learning to Imitate

January 29, 2025

Autori: Yubo Wang, Xiang Yue, Wenhu Chen

cs.AI

Abstract

Il Fine-Tuning Supervisionato (SFT) è comunemente utilizzato per addestrare modelli linguistici a imitare risposte annotate per istruzioni specifiche. In questo articolo, mettiamo in discussione questo paradigma e proponiamo il Fine-Tuning della Critica (CFT), una strategia in cui i modelli imparano a criticare risposte rumorose anziché semplicemente imitare quelle corrette. Ispirato ai processi di apprendimento umano che enfatizzano il pensiero critico, il CFT incoraggia un'analisi più approfondita e una comprensione sfumata, tratti spesso trascurati dal SFT standard. Per convalidare l'efficacia del CFT, costruiamo un dataset di 50K campioni da WebInstruct, utilizzando GPT-4o come insegnante per generare critiche sotto forma di (input=[query; risposta rumorosa], output=critica). Il CFT su questo dataset produce un miglioramento costante del 4-10% rispetto al SFT su sei benchmark matematici con diversi modelli di base come Qwen2.5, Qwen2.5-Math e DeepSeek-Math. Espandiamo ulteriormente ai dataset MetaMath e NuminaMath e osserviamo guadagni simili rispetto al SFT. In particolare, il nostro modello Qwen2.5-Math-CFT addestrato su soli 50K campioni si allinea o supera modelli competitivi come AceMath e Qwen2.5-Math-Instruct su gran parte dei benchmark, entrambi dei quali utilizzano oltre 2M campioni. Gli studi di ablazione mostrano che il CFT è robusto all'origine della risposta rumorosa e al modello di critica dell'insegnante. Attraverso questi risultati, sosteniamo che l'addestramento basato sulla critica offre un'alternativa più efficace per far progredire il ragionamento dei modelli linguistici.

English

Supervised Fine-Tuning (SFT) is commonly used to train language models to imitate annotated responses for given instructions. In this paper, we challenge this paradigm and propose Critique Fine-Tuning (CFT), a strategy where models learn to critique noisy responses rather than simply imitate correct ones. Inspired by human learning processes that emphasize critical thinking, CFT encourages deeper analysis and nuanced understanding-traits often overlooked by standard SFT. To validate the effectiveness of CFT, we construct a 50K-sample dataset from WebInstruct, using GPT-4o as the teacher to generate critiques in the form of (input=[query; noisy response], output=critique). CFT on this dataset yields a consistent 4-10% improvement over SFT on six math benchmarks with different base models like Qwen2.5, Qwen2.5-Math and DeepSeek-Math. We further expand to MetaMath and NuminaMath datasets and observe similar gains over SFT. Notably, our Qwen2.5-Math-CFT model-trained on just 50K samples-matches or outperforms competitive models such as AceMath and Qwen2.5-Math-Instruct on most benchmarks, both of which use over 2M samples. Ablation studies show that CFT is robust to the source of noisy response and teacher critique model. Through these findings, we argue that critique-based training offers a more effective alternative to advance the reasoning of language models.