Sviluppo di una Riflessione più Approfondita sull'LLM

Evolving Deeper LLM Thinking

January 17, 2025

Autori: Kuang-Huei Lee, Ian Fischer, Yueh-Hua Wu, Dave Marwood, Shumeet Baluja, Dale Schuurmans, Xinyun Chen

cs.AI

Abstract

Esploriamo una strategia di ricerca evolutiva per scalare il calcolo del tempo di inferenza nei Grandi Modelli Linguistici. L'approccio proposto, Evoluzione Mentale, utilizza un modello linguistico per generare, ricombinare e perfezionare le risposte candidate. L'approccio proposto evita la necessità di formalizzare il problema di inferenza sottostante ogni volta che è disponibile un valutatore di soluzioni. Controllando il costo dell'inferenza, scopriamo che l'Evoluzione Mentale supera significativamente altre strategie di inferenza come il Migliore-di-N e la Revisione Sequenziale nei compiti di pianificazione del linguaggio naturale. Nei benchmark TravelPlanner e Natural Plan, l'Evoluzione Mentale risolve più del 98% delle istanze del problema utilizzando Gemini 1.5 Pro senza l'uso di un risolutore formale.

English

We explore an evolutionary search strategy for scaling inference time compute in Large Language Models. The proposed approach, Mind Evolution, uses a language model to generate, recombine and refine candidate responses. The proposed approach avoids the need to formalize the underlying inference problem whenever a solution evaluator is available. Controlling for inference cost, we find that Mind Evolution significantly outperforms other inference strategies such as Best-of-N and Sequential Revision in natural language planning tasks. In the TravelPlanner and Natural Plan benchmarks, Mind Evolution solves more than 98% of the problem instances using Gemini 1.5 Pro without the use of a formal solver.