Crítica del Ajuste Fino: Aprender a Criticar es más Efectivo que Aprender a Imitar

Critique Fine-Tuning: Learning to Critique is More Effective than Learning to Imitate

January 29, 2025

Autores: Yubo Wang, Xiang Yue, Wenhu Chen

cs.AI

Resumen

El Ajuste Fino Supervisado (SFT, por sus siglas en inglés) se utiliza comúnmente para entrenar modelos de lenguaje a imitar respuestas anotadas para instrucciones dadas. En este documento, desafiamos este paradigma y proponemos el Ajuste Fino de Críticas (CFT, por sus siglas en inglés), una estrategia donde los modelos aprenden a criticar respuestas ruidosas en lugar de simplemente imitar las correctas. Inspirado en procesos de aprendizaje humanos que enfatizan el pensamiento crítico, CFT fomenta un análisis más profundo y una comprensión matizada, rasgos a menudo pasados por alto por el SFT estándar. Para validar la efectividad de CFT, construimos un conjunto de datos de 50K muestras de WebInstruct, utilizando GPT-4o como maestro para generar críticas en forma de (entrada=[consulta; respuesta ruidosa], salida=crítica). CFT en este conjunto de datos produce una mejora constante del 4-10% sobre SFT en seis pruebas de matemáticas con diferentes modelos base como Qwen2.5, Qwen2.5-Math y DeepSeek-Math. Ampliamos además a conjuntos de datos MetaMath y NuminaMath y observamos ganancias similares sobre SFT. Notablemente, nuestro modelo Qwen2.5-Math-CFT, entrenado con solo 50K muestras, coincide o supera a modelos competitivos como AceMath y Qwen2.5-Math-Instruct en la mayoría de las pruebas, ambos utilizando más de 2M muestras. Estudios de ablación muestran que CFT es robusto a la fuente de la respuesta ruidosa y al modelo de crítica del maestro. A través de estos hallazgos, argumentamos que el entrenamiento basado en críticas ofrece una alternativa más efectiva para avanzar en el razonamiento de los modelos de lenguaje.

English

Supervised Fine-Tuning (SFT) is commonly used to train language models to imitate annotated responses for given instructions. In this paper, we challenge this paradigm and propose Critique Fine-Tuning (CFT), a strategy where models learn to critique noisy responses rather than simply imitate correct ones. Inspired by human learning processes that emphasize critical thinking, CFT encourages deeper analysis and nuanced understanding-traits often overlooked by standard SFT. To validate the effectiveness of CFT, we construct a 50K-sample dataset from WebInstruct, using GPT-4o as the teacher to generate critiques in the form of (input=[query; noisy response], output=critique). CFT on this dataset yields a consistent 4-10% improvement over SFT on six math benchmarks with different base models like Qwen2.5, Qwen2.5-Math and DeepSeek-Math. We further expand to MetaMath and NuminaMath datasets and observe similar gains over SFT. Notably, our Qwen2.5-Math-CFT model-trained on just 50K samples-matches or outperforms competitive models such as AceMath and Qwen2.5-Math-Instruct on most benchmarks, both of which use over 2M samples. Ablation studies show that CFT is robust to the source of noisy response and teacher critique model. Through these findings, we argue that critique-based training offers a more effective alternative to advance the reasoning of language models.