Verso il Miglioramento Automatico dei Modelli Linguaggio con MCTS: Sfruttare la Conoscenza Graduale con l'Apprendimento delle Preferenze del Curriculum.

Towards Self-Improvement of LLMs via MCTS: Leveraging Stepwise Knowledge with Curriculum Preference Learning

October 9, 2024

Autori: Xiyao Wang, Linfeng Song, Ye Tian, Dian Yu, Baolin Peng, Haitao Mi, Furong Huang, Dong Yu

cs.AI

Abstract

La Ricerca ad Albero Monte Carlo (Monte Carlo Tree Search, MCTS) è emersa di recente come una tecnica potente per potenziare le capacità di ragionamento dei LLM. Tecniche come SFT o DPO hanno permesso ai LLM di estrarre comportamenti di alta qualità da MCTS, migliorando le loro prestazioni di ragionamento. Tuttavia, i metodi di distillazione esistenti sfruttano in modo limitato le ricche informazioni sulle traiettorie generate da MCTS, limitando il potenziale per migliorare il ragionamento dei LLM. In questo articolo, proponiamo AlphaLLM-CPL, un nuovo framework di addestramento a coppie che consente ai LLM di auto-migliorarsi attraverso la distillazione del comportamento di MCTS. AlphaLLM-CPL sfrutta in modo efficiente le traiettorie di MCTS tramite due innovazioni chiave: (1) AlphaLLM-CPL costruisce coppie di traiettorie passo dopo passo dai nodi figli che condividono lo stesso genitore nell'albero di ricerca, fornendo informazioni a livello di passo per una distillazione del comportamento di MCTS più efficace. (2) AlphaLLM-CPL introduce l'apprendimento delle preferenze del curriculum, regolando dinamicamente la sequenza di addestramento delle coppie di traiettorie in ciascuna epoca di addestramento offline per dare priorità ai passaggi critici di apprendimento e mitigare l'overfitting. I risultati sperimentali su compiti di ragionamento matematico dimostrano che AlphaLLM-CPL supera significativamente i metodi di distillazione del comportamento di MCTS precedenti, potenziando notevolmente le capacità di ragionamento dei LLM.

English

Monte Carlo Tree Search (MCTS) has recently emerged as a powerful technique for enhancing the reasoning capabilities of LLMs. Techniques such as SFT or DPO have enabled LLMs to distill high-quality behaviors from MCTS, improving their reasoning performance. However, existing distillation methods underutilize the rich trajectory information generated by MCTS, limiting the potential for improvements in LLM reasoning. In this paper, we propose AlphaLLM-CPL, a novel pairwise training framework that enables LLMs to self-improve through MCTS behavior distillation. AlphaLLM-CPL efficiently leverages MCTS trajectories via two key innovations: (1) AlphaLLM-CPL constructs stepwise trajectory pairs from child nodes sharing the same parent in the search tree, providing step-level information for more effective MCTS behavior distillation. (2) AlphaLLM-CPL introduces curriculum preference learning, dynamically adjusting the training sequence of trajectory pairs in each offline training epoch to prioritize critical learning steps and mitigate overfitting. Experimental results on mathematical reasoning tasks demonstrate that AlphaLLM-CPL significantly outperforms previous MCTS behavior distillation methods, substantially boosting the reasoning capabilities of LLMs.