Ajuste Fino Evolutivo: Aprendiendo a Descubrir en 371 Tareas de Optimización

Resumen

¿Ayudaría la experiencia en el diseño de kernels de GPU más rápidos a avanzar hacia una conjetura matemática abierta de larga data? Los modelos de lenguaje grandes (LLMs) integrados en la búsqueda evolutiva han producido recientemente soluciones de vanguardia en tareas de optimización, incluyendo conjeturas matemáticas abiertas, diseño de kernels de GPU, descubrimiento de leyes científicas y acertijos combinatorios. Para lograrlo, trabajos anteriores aplicaron andamios de búsqueda a una tarea objetivo a la vez, por lo que cada nuevo problema se aborda desde cero y la experiencia acumulada durante la búsqueda se descarta una vez que el modelo finaliza su intento. Esto deja la capacidad de evolucionar iterativamente una solución (por ejemplo, saber qué parte mutar y cómo, decidir cuándo retroceder) completamente en el andamio y no en el modelo mismo. Si el modelo mismo podría adquirir esta capacidad y reutilizarla en diferentes tareas ha sido en gran medida inexplorado. Para abordar esto, introducimos el Ajuste Fino Evolutivo (EFT, por sus siglas en inglés), un paradigma de entrenamiento intermedio que enseña a los LLMs a evolucionar soluciones a través de tareas convirtiendo trayectorias de búsqueda evolutiva en supervisión. Construimos Finch Collection, un conjunto de datos de 156 mil trayectorias que abarca 10 dominios y 371 tareas de optimización, y ajustamos finamente LLMs de código abierto desde 2B hasta 9B de parámetros. Empíricamente, EFT confiere generalización entre tareas: en 22 tareas reservadas, nuestros modelos superan a sus homólogos base en un 10,22% en promedio. Además, cuando se combina con RL en tiempo de prueba, nuestro modelo iguala el rendimiento de vanguardia en dos tareas de empaquetamiento de círculos y supera a su homólogo de modelo base en el problema de superposición mínima de Erdős. EFT sirve así como una "fase de práctica" para agentes de descubrimiento de propósito general que no resuelven problemas nuevos desde cero.

English

Would experience designing faster GPU kernels also help close in on a long-standing open mathematical conjecture? Large Language Models (LLMs) integrated into evolutionary search have recently produced state-of-the-art solutions on optimization tasks, including open mathematical conjectures, GPU kernel design, scientific law discovery, and combinatorial puzzles. To achieve this, prior work applied search scaffolds to one target task at a time, so every new problem is approached from scratch and the experience accumulated during search is discarded once the model finishes its attempt. This leaves the capability of iteratively evolving a solution (e.g., knowing which part to mutate and how, deciding when to backtrack) entirely in the scaffold rather than in the model itself. Whether the model itself could acquire this capability and reuse it across different tasks has been largely unexamined. To address this, we introduce Evolution Fine-Tuning (EFT), a mid-training paradigm that teaches LLMs to evolve solutions across tasks by converting evolutionary search trajectories into supervision. We construct Finch Collection, a 156K-trajectory dataset spanning 10 domains and 371 optimization tasks, and fine-tune open-source LLMs from 2B to 9B parameters. Empirically, EFT confers cross-task generalization: across 22 held-out tasks, our models surpass their base counterparts by 10.22% on average. Furthermore, when paired with test-time RL, our model matches state-of-the-art performance on two circle-packing tasks and outperforms its base-model counterpart on the Erdős minimum-overlap problem. EFT thus serves as a "practice phase" for general-purpose discovery agents that do not solve new problems from scratch.