Réglage fin par évolution : Apprendre à découvrir dans 371 tâches d'optimisation

Résumé

L'expérience acquise en concevant des noyaux GPU plus rapides pourrait-elle également aider à se rapprocher d'une conjecture mathématique ouverte de longue date ? Les grands modèles de langage (LLMs) intégrés dans une recherche évolutionnaire ont récemment produit des solutions de pointe sur des tâches d'optimisation, notamment les conjectures mathématiques ouvertes, la conception de noyaux GPU, la découverte de lois scientifiques et les puzzles combinatoires. Pour y parvenir, les travaux antérieurs ont appliqué des échafaudages de recherche à une seule tâche cible à la fois, de sorte que chaque nouveau problème est abordé à partir de zéro et que l'expérience accumulée durant la recherche est abandonnée une fois que le modèle termine sa tentative. Cela laisse la capacité d'évoluer itérativement une solution (par exemple, savoir quelle partie muter et comment, décider quand revenir en arrière) entièrement dans l'échafaudage plutôt que dans le modèle lui-même. La question de savoir si le modèle lui-même pourrait acquérir cette capacité et la réutiliser à travers différentes tâches est largement restée inexplorée. Pour y remédier, nous introduisons Evolution Fine-Tuning (EFT), un paradigme d'apprentissage intermédiaire qui enseigne aux LLMs à faire évoluer des solutions à travers les tâches en convertissant les trajectoires de recherche évolutionnaire en supervision. Nous construisons Finch Collection, un ensemble de données de 156 000 trajectoires couvrant 10 domaines et 371 tâches d'optimisation, et effectuons un fine-tuning de modèles LLM open source de 2 à 9 milliards de paramètres. Empiriquement, l'EFT confère une généralisation inter-tâches : sur 22 tâches mises de côté, nos modèles surpassent leurs homologues de base de 10,22 % en moyenne. De plus, lorsqu'il est associé à un RL en phase de test, notre modèle atteint des performances de pointe sur deux tâches de placement de cercles et surpasse son homologue basé sur le modèle de base sur le problème de recouvrement minimum d'Erdős. L'EFT sert ainsi de « phase de pratique » pour des agents de découverte à usage général qui ne résolvent pas de nouveaux problèmes à partir de zéro.

English

Would experience designing faster GPU kernels also help close in on a long-standing open mathematical conjecture? Large Language Models (LLMs) integrated into evolutionary search have recently produced state-of-the-art solutions on optimization tasks, including open mathematical conjectures, GPU kernel design, scientific law discovery, and combinatorial puzzles. To achieve this, prior work applied search scaffolds to one target task at a time, so every new problem is approached from scratch and the experience accumulated during search is discarded once the model finishes its attempt. This leaves the capability of iteratively evolving a solution (e.g., knowing which part to mutate and how, deciding when to backtrack) entirely in the scaffold rather than in the model itself. Whether the model itself could acquire this capability and reuse it across different tasks has been largely unexamined. To address this, we introduce Evolution Fine-Tuning (EFT), a mid-training paradigm that teaches LLMs to evolve solutions across tasks by converting evolutionary search trajectories into supervision. We construct Finch Collection, a 156K-trajectory dataset spanning 10 domains and 371 optimization tasks, and fine-tune open-source LLMs from 2B to 9B parameters. Empirically, EFT confers cross-task generalization: across 22 held-out tasks, our models surpass their base counterparts by 10.22% on average. Furthermore, when paired with test-time RL, our model matches state-of-the-art performance on two circle-packing tasks and outperforms its base-model counterpart on the Erdős minimum-overlap problem. EFT thus serves as a "practice phase" for general-purpose discovery agents that do not solve new problems from scratch.