optimize_anything: Eine universelle API zur Optimierung beliebiger Textparameter

Zusammenfassung

Kann ein einziges LLM-basiertes Optimierungssystem mit spezialisierten Werkzeugen in grundlegend unterschiedlichen Domänen mithalten? Wir zeigen, dass ein einziges KI-basiertes Optimierungssystem – das Einzelaufgabensuche, Mehraufgabensuche mit problemübergreifendem Transfer sowie Generalisierung auf unbekannte Eingaben unterstützt – bei sechs verschiedenen Aufgaben Spitzenergebnisse erzielt, sofern Optimierungsprobleme als Verbesserung eines Textartefakts formuliert werden, das durch eine Bewertungsfunktion evaluiert wird. Unser System entdeckt Agentenarchitekturen, die die ARC-AGI-Genauigkeit von Gemini Flash fast verdreifachen (von 32,5% auf 89,5%), findet Scheduling-Algorithmen, die Cloud-Kosten um 40% senken, generiert CUDA-Kernel, bei denen 87% PyTorch erreichen oder übertreffen, und übertrifft AlphaEvolves berichtete Kreispackungslösung (n=26). Ablationen in drei Domänen zeigen, dass handlungsrelevante Zusatzinformationen eine schnellere Konvergenz und deutlich höhere Endwerte liefern als reines Bewertungsfeedback, und dass Mehraufgabensuche bei gleichem Budget pro Problem durch aufgabenübergreifenden Transfer unabhängige Optimierung übertrifft, wobei die Vorteile mit der Anzahl verwandter Aufgaben skalieren. Gemeinsam zeigen wir erstmals, dass Textoptimierung mit LLM-basierter Suche ein allgemeines Problemlösungsparadigma darstellt, das Aufgaben, die traditionell domänenspezifische Algorithmen erfordern, in einem einheitlichen Rahmen vereint. Wir veröffentlichen optimize\_anything mit Unterstützung für mehrere Backends als Open-Source im Rahmen des GEPA-Projekts unter https://github.com/gepa-ai/gepa.

English

Can a single LLM-based optimization system match specialized tools across fundamentally different domains? We show that when optimization problems are formulated as improving a text artifact evaluated by a scoring function, a single AI-based optimization system-supporting single-task search, multi-task search with cross-problem transfer, and generalization to unseen inputs-achieves state-of-the-art results across six diverse tasks. Our system discovers agent architectures that nearly triple Gemini Flash's ARC-AGI accuracy (32.5% to 89.5%), finds scheduling algorithms that cut cloud costs by 40%, generates CUDA kernels where 87% match or beat PyTorch, and outperforms AlphaEvolve's reported circle packing solution (n=26). Ablations across three domains reveal that actionable side information yields faster convergence and substantially higher final scores than score-only feedback, and that multi-task search outperforms independent optimization given equivalent per-problem budget through cross-task transfer, with benefits scaling with the number of related tasks. Together, we show for the first time that text optimization with LLM-based search is a general-purpose problem-solving paradigm, unifying tasks traditionally requiring domain-specific algorithms under a single framework. We open-source optimize\_anything with support for multiple backends as part of the GEPA project at https://github.com/gepa-ai/gepa .