RATIONALYST: Proceso de Pre-entrenamiento-Supervisión para Mejorar el Razonamiento

RATIONALYST: Pre-training Process-Supervision for Improving Reasoning

October 1, 2024

Autores: Dongwei Jiang, Guoxuan Wang, Yining Lu, Andrew Wang, Jingyu Zhang, Chuyu Liu, Benjamin Van Durme, Daniel Khashabi

cs.AI

Resumen

Los pasos de razonamiento generados por LLMs pueden ser incompletos, ya que imitan saltos lógicos comunes en la comunicación cotidiana encontrados en sus datos de pre-entrenamiento: las justificaciones subyacentes a menudo se dejan implícitas (no declaradas). Para abordar este desafío, presentamos RATIONALYST, un modelo para la supervisión de procesos de razonamiento basado en el pre-entrenamiento en una vasta colección de anotaciones de justificación extraídas de datos no etiquetados. Extraemos 79k justificaciones de un conjunto de datos no etiquetados a escala web (el Pile) y una combinación de conjuntos de datos de razonamiento con mínima intervención humana. Este pre-entrenamiento a escala web para el razonamiento permite a RATIONALYST generalizar de manera consistente en diversas tareas de razonamiento, incluyendo razonamiento matemático, de sentido común, científico y lógico. Ajustado finamente desde LLaMa-3-8B, RATIONALYST mejora la precisión del razonamiento en un promedio del 3.9% en 7 bancos de pruebas representativos de razonamiento. También demuestra un rendimiento superior en comparación con verificadores significativamente más grandes como GPT-4 y modelos de tamaño similar ajustados finamente en conjuntos de entrenamiento coincidentes.

English

The reasoning steps generated by LLMs might be incomplete, as they mimic logical leaps common in everyday communication found in their pre-training data: underlying rationales are frequently left implicit (unstated). To address this challenge, we introduce RATIONALYST, a model for process-supervision of reasoning based on pre-training on a vast collection of rationale annotations extracted from unlabeled data. We extract 79k rationales from web-scale unlabelled dataset (the Pile) and a combination of reasoning datasets with minimal human intervention. This web-scale pre-training for reasoning allows RATIONALYST to consistently generalize across diverse reasoning tasks, including mathematical, commonsense, scientific, and logical reasoning. Fine-tuned from LLaMa-3-8B, RATIONALYST improves the accuracy of reasoning by an average of 3.9% on 7 representative reasoning benchmarks. It also demonstrates superior performance compared to significantly larger verifiers like GPT-4 and similarly sized models fine-tuned on matching training sets.