Evolução do Pensamento Profundo em Aprendizagem de Máquina de Longo Prazo

Evolving Deeper LLM Thinking

January 17, 2025

Autores: Kuang-Huei Lee, Ian Fischer, Yueh-Hua Wu, Dave Marwood, Shumeet Baluja, Dale Schuurmans, Xinyun Chen

cs.AI

Resumo

Exploramos uma estratégia de busca evolutiva para escalonar o tempo de inferência computacional em Modelos de Linguagem Grandes. A abordagem proposta, Evolução da Mente, utiliza um modelo de linguagem para gerar, recombinar e refinar respostas candidatas. A abordagem proposta evita a necessidade de formalizar o problema de inferência subjacente sempre que um avaliador de solução está disponível. Controlando o custo de inferência, descobrimos que a Evolução da Mente supera significativamente outras estratégias de inferência, como Melhor-de-N e Revisão Sequencial, em tarefas de planejamento de linguagem natural. Nos benchmarks TravelPlanner e Natural Plan, a Evolução da Mente resolve mais de 98% das instâncias de problema usando o Gemini 1.5 Pro sem o uso de um resolvedor formal.

English

We explore an evolutionary search strategy for scaling inference time compute in Large Language Models. The proposed approach, Mind Evolution, uses a language model to generate, recombine and refine candidate responses. The proposed approach avoids the need to formalize the underlying inference problem whenever a solution evaluator is available. Controlling for inference cost, we find that Mind Evolution significantly outperforms other inference strategies such as Best-of-N and Sequential Revision in natural language planning tasks. In the TravelPlanner and Natural Plan benchmarks, Mind Evolution solves more than 98% of the problem instances using Gemini 1.5 Pro without the use of a formal solver.