Desarrollando un Pensamiento más Profundo en Aprendizaje de Máquina de Largo Plazo

Evolving Deeper LLM Thinking

January 17, 2025

Autores: Kuang-Huei Lee, Ian Fischer, Yueh-Hua Wu, Dave Marwood, Shumeet Baluja, Dale Schuurmans, Xinyun Chen

cs.AI

Resumen

Exploramos una estrategia de búsqueda evolutiva para escalar el tiempo de inferencia computacional en Modelos de Lenguaje Grandes. El enfoque propuesto, Evolución Mental, utiliza un modelo de lenguaje para generar, recombinar y refinar respuestas candidatas. El enfoque propuesto evita la necesidad de formalizar el problema de inferencia subyacente siempre que se disponga de un evaluador de soluciones. Controlando el costo de inferencia, encontramos que la Evolución Mental supera significativamente a otras estrategias de inferencia como Mejor-de-N y Revisión Secuencial en tareas de planificación de lenguaje natural. En los benchmarks de Planificador de Viajes y Planificación Natural, la Evolución Mental resuelve más del 98% de las instancias del problema utilizando Gemini 1.5 Pro sin necesidad de un solucionador formal.

English

We explore an evolutionary search strategy for scaling inference time compute in Large Language Models. The proposed approach, Mind Evolution, uses a language model to generate, recombine and refine candidate responses. The proposed approach avoids the need to formalize the underlying inference problem whenever a solution evaluator is available. Controlling for inference cost, we find that Mind Evolution significantly outperforms other inference strategies such as Best-of-N and Sequential Revision in natural language planning tasks. In the TravelPlanner and Natural Plan benchmarks, Mind Evolution solves more than 98% of the problem instances using Gemini 1.5 Pro without the use of a formal solver.