Evolutionäres Feintuning: Entdeckungslernen über 371 Optimierungsaufgaben hinweg

Zusammenfassung

Könnte die Erfahrung im Design schnellerer GPU-Kernel auch dazu beitragen, eine seit langem offene mathematische Vermutung einer Lösung näher zu bringen? Große Sprachmodelle (LLMs), die in evolutionäre Suche integriert sind, haben kürzlich hochmoderne Lösungen für Optimierungsaufgaben hervorgebracht, darunter offene mathematische Vermutungen, GPU-Kernel-Design, Entdeckung wissenschaftlicher Gesetze und kombinatorische Rätsel. Um dies zu erreichen, wandte frühere Arbeit Suchgerüste jeweils auf eine einzelne Zielaufgabe an, sodass jedes neue Problem von Grund auf neu angegangen wird und die während der Suche gesammelte Erfahrung verworfen wird, sobald das Modell seinen Versuch abschließt. Dies belässt die Fähigkeit, eine Lösung iterativ zu entwickeln (z. B. zu wissen, welcher Teil mutiert werden soll und wie, Entscheiden, wann zurückgesetzt werden soll) vollständig im Gerüst und nicht im Modell selbst. Ob das Modell selbst diese Fähigkeit erwerben und über verschiedene Aufgaben hinweg wiederverwenden könnte, wurde weitgehend nicht untersucht. Um dies anzugehen, führen wir Evolution Fine-Tuning (EFT) ein, ein Mid-Training-Paradigma, das LLMs lehrt, Lösungen über Aufgaben hinweg zu entwickeln, indem evolutionäre Suchtrajektorien in Überwachung umgewandelt werden. Wir erstellen Finch Collection, einen Datensatz mit 156.000 Trajektorien aus 10 Bereichen und 371 Optimierungsaufgaben, und feinabstimmen Open-Source-LLMs mit 2B bis 9B Parametern. Empirisch gesehen verleiht EFT aufgabenübergreifende Generalisierung: Über 22 zurückgehaltene Aufgaben hinweg übertreffen unsere Modelle ihre Basisgegenstücke im Durchschnitt um 10,22%. Darüber hinaus erreicht unser Modell, wenn es mit Testzeit-RL kombiniert wird, bei zwei Kreispackungsaufgaben Spitzenleistungen und übertrifft sein Basismodell-Gegenstück beim Erdős-Minimum-Überlappungsproblem. EFT dient somit als „Übungsphase" für universelle Entdeckungsagenten, die neue Probleme nicht von Grund auf lösen.

English

Would experience designing faster GPU kernels also help close in on a long-standing open mathematical conjecture? Large Language Models (LLMs) integrated into evolutionary search have recently produced state-of-the-art solutions on optimization tasks, including open mathematical conjectures, GPU kernel design, scientific law discovery, and combinatorial puzzles. To achieve this, prior work applied search scaffolds to one target task at a time, so every new problem is approached from scratch and the experience accumulated during search is discarded once the model finishes its attempt. This leaves the capability of iteratively evolving a solution (e.g., knowing which part to mutate and how, deciding when to backtrack) entirely in the scaffold rather than in the model itself. Whether the model itself could acquire this capability and reuse it across different tasks has been largely unexamined. To address this, we introduce Evolution Fine-Tuning (EFT), a mid-training paradigm that teaches LLMs to evolve solutions across tasks by converting evolutionary search trajectories into supervision. We construct Finch Collection, a 156K-trajectory dataset spanning 10 domains and 371 optimization tasks, and fine-tune open-source LLMs from 2B to 9B parameters. Empirically, EFT confers cross-task generalization: across 22 held-out tasks, our models surpass their base counterparts by 10.22% on average. Furthermore, when paired with test-time RL, our model matches state-of-the-art performance on two circle-packing tasks and outperforms its base-model counterpart on the Erdős minimum-overlap problem. EFT thus serves as a "practice phase" for general-purpose discovery agents that do not solve new problems from scratch.