Эволюция более глубокого мышления LLM.

Evolving Deeper LLM Thinking

January 17, 2025

Авторы: Kuang-Huei Lee, Ian Fischer, Yueh-Hua Wu, Dave Marwood, Shumeet Baluja, Dale Schuurmans, Xinyun Chen

cs.AI

Аннотация

Мы исследуем эволюционную стратегию поиска для масштабирования времени вычислений вывода в больших языковых моделях. Предложенный подход, Mind Evolution, использует языковую модель для генерации, рекомбинации и улучшения кандидатских ответов. Предложенный подход избегает необходимости формализации основной проблемы вывода, когда доступен оценщик решений. Учитывая стоимость вывода, мы обнаружили, что Mind Evolution значительно превосходит другие стратегии вывода, такие как Best-of-N и Последовательная Переработка, в задачах естественного языкового планирования. На бенчмарках TravelPlanner и Natural Plan, Mind Evolution решает более 98% примеров проблем, используя Gemini 1.5 Pro без использования формального солвера.

English

We explore an evolutionary search strategy for scaling inference time compute in Large Language Models. The proposed approach, Mind Evolution, uses a language model to generate, recombine and refine candidate responses. The proposed approach avoids the need to formalize the underlying inference problem whenever a solution evaluator is available. Controlling for inference cost, we find that Mind Evolution significantly outperforms other inference strategies such as Best-of-N and Sequential Revision in natural language planning tasks. In the TravelPlanner and Natural Plan benchmarks, Mind Evolution solves more than 98% of the problem instances using Gemini 1.5 Pro without the use of a formal solver.