Étape-KTO : Optimisation du raisonnement mathématique grâce à des retours binaires étape par étape

Step-KTO: Optimizing Mathematical Reasoning through Stepwise Binary Feedback

January 18, 2025

Auteurs: Yen-Ting Lin, Di Jin, Tengyu Xu, Tianhao Wu, Sainbayar Sukhbaatar, Chen Zhu, Yun He, Yun-Nung Chen, Jason Weston, Yuandong Tian, Arash Rahnama, Sinong Wang, Hao Ma, Han Fang

cs.AI

Résumé

Les grands modèles de langage (LLM) ont récemment démontré un succès remarquable en matière de raisonnement mathématique. Malgré les progrès réalisés dans des méthodes telles que la génération de chaînes de pensées et l'échantillonnage d'auto-cohérence, ces avancées se concentrent souvent sur la correction finale sans garantir que le processus de raisonnement sous-jacent soit cohérent et fiable. Cet article présente Step-KTO, un cadre d'entraînement qui combine des retours binaires au niveau du processus et du résultat pour guider les LLM vers des trajectoires de raisonnement plus fiables. En fournissant des évaluations binaires à la fois pour les étapes de raisonnement intermédiaires et la réponse finale, Step-KTO encourage le modèle à suivre des progressions logiques plutôt que de se fier à des raccourcis superficiels. Nos expériences sur des benchmarks mathématiques complexes montrent que Step-KTO améliore significativement à la fois la précision de la réponse finale et la qualité des étapes de raisonnement intermédiaires. Par exemple, sur l'ensemble de données MATH-500, Step-KTO obtient une amélioration notable de la précision Pass@1 par rapport à des références solides. Ces résultats soulignent la promesse de l'intégration de retours de processus étape par étape dans l'entraînement des LLM, ouvrant la voie à des capacités de raisonnement plus interprétables et fiables.

English

Large language models (LLMs) have recently demonstrated remarkable success in mathematical reasoning. Despite progress in methods like chain-of-thought prompting and self-consistency sampling, these advances often focus on final correctness without ensuring that the underlying reasoning process is coherent and reliable. This paper introduces Step-KTO, a training framework that combines process-level and outcome-level binary feedback to guide LLMs toward more trustworthy reasoning trajectories. By providing binary evaluations for both the intermediate reasoning steps and the final answer, Step-KTO encourages the model to adhere to logical progressions rather than relying on superficial shortcuts. Our experiments on challenging mathematical benchmarks show that Step-KTO significantly improves both final answer accuracy and the quality of intermediate reasoning steps. For example, on the MATH-500 dataset, Step-KTO achieves a notable improvement in Pass@1 accuracy over strong baselines. These results highlight the promise of integrating stepwise process feedback into LLM training, paving the way toward more interpretable and dependable reasoning capabilities.