SkillOpt-Lite: Bessere und schnellere Selbstevolution von Agenten durch eine einzige Vibe-Zeile

Zusammenfassung

Während die Optimierung von Fähigkeiten für autonome Agenten an Bedeutung gewonnen hat, basieren bestehende Methoden auf komplexen Pipelines. Dies lässt eine grundlegende Frage unbeantwortet: Was ist eine minimal realisierbare Pipeline zur Optimierung von Fähigkeiten, bei der jede Komponente theoretisch oder empirisch gerechtfertigt ist? Wir formalisieren die Optimierung von Fähigkeiten mittels Optimierung nullter Ordnung (ZO) und ordnen klassische Gegenstücke (zentrale Differenz, Trust-Regionen) der neueren Literatur zu. Dabei stellen wir fest, dass Fähigkeitstrajektorien im Gegensatz zu blinden numerischen Störungen der klassischen ZO-Optimierung als interpretierbares Debugging-Feedback dienen. Basierend auf der Claude-Code-Philosophie und dem PAC-Lernen etablieren wir drei Prinzipien für Konvergenz und Generalisierung: dateisystembasierte Trajektorienerkundung, Konsens-Attribut-Mining und unabhängige Validierungssteuerung. Durch Eliminierung von Redundanzen schlagen wir SkillOpt-Lite vor. Dieses beschleunigt die Konvergenz und übertrifft das vollständige SkillOpt: Es verbessert LiveMath um +8,8 Punkte auf GPT-5.5 und um +25,4 Punkte auf GPT-5.4-nano, wodurch das Nano-Modell das standardmäßige, durch SkillOpt optimierte GPT-5.4 übertrifft. Abschließend integrieren wir unser Framework in Produktions-Codierungsagenten wie VSCode Copilot, sodass Entwickler Agentenfähigkeiten mit einer Zeile Vibe weiterentwickeln können. Da unser Framework alle Agentenkomponenten einfach als standardmäßigen editierbaren Code behandelt, verallgemeinert sich diese minimale Pipeline auf natürliche Weise zur vollständigen Harness-Optimierung (HarnessOpt). Auf SpreadsheetBench erreicht HarnessOpt mit GPT-5.4-nano eine Genauigkeit von 0,7758 und übertrifft damit das größere GPT-5.5, das Standard-Pipelines verwendet (0,7620). Der Code ist verfügbar unter https://github.com/EvolvingLMMs-Lab/SkillOpt-Lite.

English

While skill optimization for autonomous agents has gained traction, existing methods rely on complex pipelines. This leaves a fundamental question unaddressed: What constitutes a minimal viable pipeline for skill optimization, where every component is justified by theory or empirical necessity? We formalize skill optimization via Zeroth-Order (ZO) optimization, mapping classical counterparts (central difference, trust regions) to recent literature. Noting that unlike blind numerical perturbations in classical ZO, skill trajectories serve as interpretable debugging feedback. Grounded in Claude Code philosophy and PAC learning, we establish three principles for convergence and generalization: file-system-based trajectory exploration, consensus attribute mining, and independent validation gating. Eliminating redundancies, we propose SkillOpt-Lite. It accelerates convergence and outperforms full SkillOpt: improving LiveMath by +8.8 points on GPT-5.5 and +25.4 points on GPT-5.4-nano, allowing the nano model to surpass standard GPT-5.4 optimized by SkillOpt. Finally, we integrate our framework into production coding agents like VSCode Copilot, enabling developers to evolve agent skills via one line of vibe. Because our framework treats all agent components simply as standard editable code, this minimal pipeline naturally generalizes to full harness optimization (HarnessOpt). On SpreadsheetBench, HarnessOpt enables GPT-5.4-nano to achieve 0.7758 accuracy, outperforming the larger GPT-5.5 running standard pipelines (0.7620). Code is available at https://github.com/EvolvingLMMs-Lab/SkillOpt-Lite.