Эволюционная тонкая настройка: обучение обнаружению на 371 оптимизационной задаче

Аннотация

Помог бы опыт проектирования более быстрых ядер GPU также приблизиться к решению давно открытой математической гипотезы? Большие языковые модели (LLM), интегрированные в эволюционный поиск, недавно позволили получить передовые решения оптимизационных задач, включая открытые математические гипотезы, проектирование ядер GPU, открытие научных законов и комбинаторные головоломки. Для достижения этого в предыдущих работах применялись поисковые каркасы к одной целевой задаче за раз, так что каждая новая задача решалась с нуля, а накопленный в ходе поиска опыт отбрасывался после завершения попытки модели. Таким образом, способность итеративно развивать решение (например, знание того, какую часть мутировать и как, принятие решения о возврате) полностью остается в каркасе, а не в самой модели. Вопрос о том, может ли сама модель приобрести эту способность и повторно использовать ее в разных задачах, оставался в значительной степени неисследованным. Для решения этой проблемы мы представляем Evolution Fine-Tuning (EFT) — парадигму промежуточного обучения, которая учит LLM развивать решения в различных задачах путем преобразования траекторий эволюционного поиска в обучающие данные. Мы создаем Finch Collection — набор данных из 156 тысяч траекторий, охватывающий 10 областей и 371 оптимизационную задачу, и дообучаем LLM с открытым исходным кодом от 2 до 9 миллиардов параметров. Эмпирически EFT обеспечивает обобщение между задачами: на 22 отложенных задачах наши модели превосходят свои базовые аналоги в среднем на 10,22%. Кроме того, в сочетании с RL во время тестирования наша модель достигает уровня современных результатов на двух задачах упаковки кругов и превосходит свою базовую версию в задаче минимизации пересечений Эрдёша. Таким образом, EFT служит «фазой практики» для универсальных агентов открытий, которые не решают новые задачи с нуля.

English

Would experience designing faster GPU kernels also help close in on a long-standing open mathematical conjecture? Large Language Models (LLMs) integrated into evolutionary search have recently produced state-of-the-art solutions on optimization tasks, including open mathematical conjectures, GPU kernel design, scientific law discovery, and combinatorial puzzles. To achieve this, prior work applied search scaffolds to one target task at a time, so every new problem is approached from scratch and the experience accumulated during search is discarded once the model finishes its attempt. This leaves the capability of iteratively evolving a solution (e.g., knowing which part to mutate and how, deciding when to backtrack) entirely in the scaffold rather than in the model itself. Whether the model itself could acquire this capability and reuse it across different tasks has been largely unexamined. To address this, we introduce Evolution Fine-Tuning (EFT), a mid-training paradigm that teaches LLMs to evolve solutions across tasks by converting evolutionary search trajectories into supervision. We construct Finch Collection, a 156K-trajectory dataset spanning 10 domains and 371 optimization tasks, and fine-tune open-source LLMs from 2B to 9B parameters. Empirically, EFT confers cross-task generalization: across 22 held-out tasks, our models surpass their base counterparts by 10.22% on average. Furthermore, when paired with test-time RL, our model matches state-of-the-art performance on two circle-packing tasks and outperforms its base-model counterpart on the Erdős minimum-overlap problem. EFT thus serves as a "practice phase" for general-purpose discovery agents that do not solve new problems from scratch.