Retrocedere per fare un balzo in avanti: Auto-retrotracciamento per potenziare il ragionamento dei Modelli Linguistici

Step Back to Leap Forward: Self-Backtracking for Boosting Reasoning of Language Models

February 6, 2025

Autori: Xiao-Wen Yang, Xuan-Yi Zhu, Wen-Da Wei, Ding-Chu Zhang, Jie-Jing Shao, Zhi Zhou, Lan-Zhe Guo, Yu-Feng Li

cs.AI

Abstract

L'integrazione di meccanismi di pensiero lento nei grandi modelli linguistici (LLM) offre un modo promettente per raggiungere i Reasoners AGI di Livello 2, come esemplificato da sistemi come l'o1 di OpenAI. Tuttavia, rimangono diverse sfide significative, tra cui un sovra-pensiero inefficiente e una eccessiva dipendenza da modelli di ricompensa ausiliari. Sottolineiamo che questi limiti derivano dall'incapacità dei LLM di interiorizzare il processo di ricerca, un componente chiave del ragionamento efficace. Un passo critico verso la risoluzione di questo problema è abilitare i LLM a determinare autonomamente quando e dove fare backtracking, un'operazione fondamentale negli algoritmi di ricerca tradizionali. A tal fine, proponiamo un meccanismo di auto-backtracking che dota i LLM della capacità di fare backtracking sia durante l'addestramento che durante l'inferenza. Questo meccanismo non solo potenzia la capacità di ragionamento, ma anche l'efficienza trasformando i processi di pensiero lento in processi di pensiero veloce attraverso l'auto-miglioramento. Valutazioni empiriche dimostrano che la nostra proposta migliora significativamente le capacità di ragionamento dei LLM, ottenendo un aumento delle prestazioni superiore al 40 percento rispetto al metodo di fine-tuning supervisionato del percorso ottimale. Riteniamo che questo studio introduca un percorso innovativo e promettente per lo sviluppo di Reasoners più avanzati e robusti.

English

The integration of slow-thinking mechanisms into large language models (LLMs) offers a promising way toward achieving Level 2 AGI Reasoners, as exemplified by systems like OpenAI's o1. However, several significant challenges remain, including inefficient overthinking and an overreliance on auxiliary reward models. We point out that these limitations stem from LLMs' inability to internalize the search process, a key component of effective reasoning. A critical step toward addressing this issue is enabling LLMs to autonomously determine when and where to backtrack, a fundamental operation in traditional search algorithms. To this end, we propose a self-backtracking mechanism that equips LLMs with the ability to backtrack during both training and inference. This mechanism not only enhances reasoning ability but also efficiency by transforming slow-thinking processes into fast-thinking through self-improvement. Empirical evaluations demonstrate that our proposal significantly enhances the reasoning capabilities of LLMs, achieving a performance gain of over 40 percent compared to the optimal-path supervised fine-tuning method. We believe this study introduces a novel and promising pathway for developing more advanced and robust Reasoners.