RATIONALYST: Процесс предварительного обучения с управлением для улучшения рассуждений

RATIONALYST: Pre-training Process-Supervision for Improving Reasoning

October 1, 2024

Авторы: Dongwei Jiang, Guoxuan Wang, Yining Lu, Andrew Wang, Jingyu Zhang, Chuyu Liu, Benjamin Van Durme, Daniel Khashabi

cs.AI

Аннотация

Рассуждения, созданные LLMs, могут быть неполными, так как они имитируют логические прыжки, характерные для повседневного общения, обнаруженные в их предварительных данных обучения: основные обоснования часто остаются неявными (не высказанными). Для решения этой проблемы мы представляем RATIONALYST, модель для процесс-надзора за рассуждениями на основе предварительного обучения на огромной коллекции аннотаций обоснований, извлеченных из неразмеченных данных. Мы извлекаем 79 тыс. обоснований из веб-масштабного неразмеченного набора данных (Pile) и комбинации наборов данных для рассуждений с минимальным вмешательством человека. Это предварительное веб-масштабное обучение для рассуждений позволяет RATIONALYST последовательно обобщать различные задачи рассуждений, включая математические, здравомыслительные, научные и логические рассуждения. После настройки на LLaMa-3-8B, RATIONALYST повышает точность рассуждений в среднем на 3,9% на 7 репрезентативных бенчмарках рассуждений. Он также демонстрирует превосходную производительность по сравнению с значительно более крупными верификаторами, такими как GPT-4, и моделями схожего размера, настроенными на соответствующих наборах данных для обучения.

English

The reasoning steps generated by LLMs might be incomplete, as they mimic logical leaps common in everyday communication found in their pre-training data: underlying rationales are frequently left implicit (unstated). To address this challenge, we introduce RATIONALYST, a model for process-supervision of reasoning based on pre-training on a vast collection of rationale annotations extracted from unlabeled data. We extract 79k rationales from web-scale unlabelled dataset (the Pile) and a combination of reasoning datasets with minimal human intervention. This web-scale pre-training for reasoning allows RATIONALYST to consistently generalize across diverse reasoning tasks, including mathematical, commonsense, scientific, and logical reasoning. Fine-tuned from LLaMa-3-8B, RATIONALYST improves the accuracy of reasoning by an average of 3.9% on 7 representative reasoning benchmarks. It also demonstrates superior performance compared to significantly larger verifiers like GPT-4 and similarly sized models fine-tuned on matching training sets.