Développement de la réflexion plus approfondie des LLM

Evolving Deeper LLM Thinking

January 17, 2025

Auteurs: Kuang-Huei Lee, Ian Fischer, Yueh-Hua Wu, Dave Marwood, Shumeet Baluja, Dale Schuurmans, Xinyun Chen

cs.AI

Résumé

Nous explorons une stratégie de recherche évolutive pour optimiser le temps d'inférence des calculs dans les grands modèles de langage. L'approche proposée, Évolution Mentale, utilise un modèle de langage pour générer, recombiner et affiner les réponses candidates. Cette approche évite la nécessité de formaliser le problème d'inférence sous-jacent chaque fois qu'un évaluateur de solution est disponible. En contrôlant le coût de l'inférence, nous constatons que l'Évolution Mentale surpasse significativement d'autres stratégies d'inférence telles que Meilleur-de-N et Révision Séquentielle dans les tâches de planification en langage naturel. Dans les benchmarks TravelPlanner et Natural Plan, l'Évolution Mentale résout plus de 98 % des instances de problème en utilisant Gemini 1.5 Pro sans recourir à un solveur formel.

English

We explore an evolutionary search strategy for scaling inference time compute in Large Language Models. The proposed approach, Mind Evolution, uses a language model to generate, recombine and refine candidate responses. The proposed approach avoids the need to formalize the underlying inference problem whenever a solution evaluator is available. Controlling for inference cost, we find that Mind Evolution significantly outperforms other inference strategies such as Best-of-N and Sequential Revision in natural language planning tasks. In the TravelPlanner and Natural Plan benchmarks, Mind Evolution solves more than 98% of the problem instances using Gemini 1.5 Pro without the use of a formal solver.