진화 기반 미세 조정: 371개의 최적화 과제에서 발견을 학습하기

초록

GPU 커널 설계 속도를 높이는 경험이 오랫동안 풀리지 않은 수학적 추론에 접근하는 데 도움이 될 수 있을까? 진화 탐색에 통합된 대규모 언어 모델(LLM)은 최근 최적화 작업에서 최첨단 해법을 생산해 왔으며, 여기에는 열린 수학적 추론, GPU 커널 설계, 과학 법칙 발견 및 조합 퍼즐이 포함된다. 이를 위해 기존 연구는 한 번에 하나의 목표 작업에 검색 스캐폴드를 적용했으며, 따라서 모든 새로운 문제는 처음부터 접근되고 검색 중 축적된 경험은 모델이 시도를 마치면 폐기된다. 이는 반복적으로 해법을 진화시키는 능력(예: 어떤 부분을 변이할지와 그 방법을 알고, 언제 되돌아갈지를 결정하는 것)을 전적으로 모델 자체가 아닌 스캐폴드에 두게 만든다. 모델 자체가 이러한 능력을 획득하여 서로 다른 작업 간에 재사용할 수 있는지 여부는 대부분 검토되지 않았다. 이 문제를 해결하기 위해, 우리는 진화 탐색 궤적을 감독 신호로 변환하여 LLM이 작업 간에 해법을 진화시키도록 가르치는 중간 훈련 패러다임인 진화 미세 조정(EVT)을 소개한다. 우리는 10개 도메인과 371개 최적화 작업에 걸친 156,000개 궤적 데이터셋인 Finch Collection을 구축하고, 20억에서 90억 매개변수 범위의 오픈소스 LLM을 미세 조정한다. 실험적으로, EFT는 교차 작업 일반화를 제공한다: 22개의 보류된 작업에서 우리 모델은 기본 모델 대비 평균 10.22% 더 나은 성능을 보인다. 더 나아가, 테스트 시점 강화 학습과 결합될 때, 우리 모델은 두 개의 원 패킹 작업에서 최첨단 성능과 일치하며, 에르되시 최소 중복 문제에서 기본 모델 대비 우수한 성능을 보인다. 따라서 EFT는 새로운 문제를 처음부터 풀지 않는 범용 발견 에이전트를 위한 "연습 단계" 역할을 한다.

English

Would experience designing faster GPU kernels also help close in on a long-standing open mathematical conjecture? Large Language Models (LLMs) integrated into evolutionary search have recently produced state-of-the-art solutions on optimization tasks, including open mathematical conjectures, GPU kernel design, scientific law discovery, and combinatorial puzzles. To achieve this, prior work applied search scaffolds to one target task at a time, so every new problem is approached from scratch and the experience accumulated during search is discarded once the model finishes its attempt. This leaves the capability of iteratively evolving a solution (e.g., knowing which part to mutate and how, deciding when to backtrack) entirely in the scaffold rather than in the model itself. Whether the model itself could acquire this capability and reuse it across different tasks has been largely unexamined. To address this, we introduce Evolution Fine-Tuning (EFT), a mid-training paradigm that teaches LLMs to evolve solutions across tasks by converting evolutionary search trajectories into supervision. We construct Finch Collection, a 156K-trajectory dataset spanning 10 domains and 371 optimization tasks, and fine-tune open-source LLMs from 2B to 9B parameters. Empirically, EFT confers cross-task generalization: across 22 held-out tasks, our models surpass their base counterparts by 10.22% on average. Furthermore, when paired with test-time RL, our model matches state-of-the-art performance on two circle-packing tasks and outperforms its base-model counterpart on the Erdős minimum-overlap problem. EFT thus serves as a "practice phase" for general-purpose discovery agents that do not solve new problems from scratch.