RATIONALYST: Processo di pre-addestramento con supervisione per migliorare il ragionamento

RATIONALYST: Pre-training Process-Supervision for Improving Reasoning

October 1, 2024

Autori: Dongwei Jiang, Guoxuan Wang, Yining Lu, Andrew Wang, Jingyu Zhang, Chuyu Liu, Benjamin Van Durme, Daniel Khashabi

cs.AI

Abstract

I passaggi di ragionamento generati da LLM potrebbero essere incompleti, poiché imitano salti logici comuni nella comunicazione quotidiana trovati nei loro dati di pre-training: le giustificazioni sottostanti sono spesso lasciate implicite (non espresse). Per affrontare questa sfida, presentiamo RATIONALYST, un modello per la supervisione del processo di ragionamento basato sul pre-training su una vasta raccolta di annotazioni di giustificazione estratte da dati non etichettati. Estraiamo 79k giustificazioni da un dataset non etichettato su larga scala (il Pile) e una combinazione di dataset di ragionamento con minima intervento umano. Questo pre-training su larga scala per il ragionamento consente a RATIONALYST di generalizzare in modo coerente su diverse attività di ragionamento, inclusi ragionamenti matematici, di buon senso, scientifici e logici. Rifinito da LLaMa-3-8B, RATIONALYST migliora l'accuratezza del ragionamento di una media del 3.9% su 7 benchmark rappresentativi di ragionamento. Dimostra inoltre prestazioni superiori rispetto a verificatori significativamente più grandi come GPT-4 e modelli di dimensioni simili rifiniti su set di addestramento corrispondenti.

English

The reasoning steps generated by LLMs might be incomplete, as they mimic logical leaps common in everyday communication found in their pre-training data: underlying rationales are frequently left implicit (unstated). To address this challenge, we introduce RATIONALYST, a model for process-supervision of reasoning based on pre-training on a vast collection of rationale annotations extracted from unlabeled data. We extract 79k rationales from web-scale unlabelled dataset (the Pile) and a combination of reasoning datasets with minimal human intervention. This web-scale pre-training for reasoning allows RATIONALYST to consistently generalize across diverse reasoning tasks, including mathematical, commonsense, scientific, and logical reasoning. Fine-tuned from LLaMa-3-8B, RATIONALYST improves the accuracy of reasoning by an average of 3.9% on 7 representative reasoning benchmarks. It also demonstrates superior performance compared to significantly larger verifiers like GPT-4 and similarly sized models fine-tuned on matching training sets.