Hyperagents

Résumé

Les systèmes d'IA auto-améliorants visent à réduire la dépendance à l'ingénierie humaine en apprenant à améliorer leurs propres processus d'apprentissage et de résolution de problèmes. Les approches existantes d'auto-amélioration reposent sur des mécanismes métas fixes et artisanaux, limitant fondamentalement la rapidité d'amélioration de tels systèmes. La Machine de Gödel Darwin (DGM) démontre une auto-amélioration ouverte en programmation en générant et évaluant répétitivement des variants auto-modifiés. Étant donné que l'évaluation et l'auto-modification sont des tâches de programmation, les gains en capacité de codage peuvent se traduire par des gains en capacité d'auto-amélioration. Cependant, cet alignement ne se vérifie généralement pas au-delà des domaines de la programmation. Nous introduisons les hyperagents, des agents autoréférentiels qui intègrent un agent de tâche (qui résout la tâche cible) et un agent méta (qui se modifie lui-même et l'agent de tâche) en un seul programme modifiable. Crucialement, la procédure de modification au niveau méta est elle-même modifiable, permettant une auto-modification métacognitive, améliorant non seulement le comportement de résolution de tâches, mais aussi le mécanisme qui génère les améliorations futures. Nous instancions ce cadre en étendant la DGM pour créer les DGM-Hyperagents (DGM-H), éliminant l'hypothèse d'un alignement spécifique au domaine entre la performance à la tâche et la compétence d'auto-modification, pour potentiellement soutenir un progrès auto-accéléré sur toute tâche calculable. À travers divers domaines, le DGM-H améliore ses performances au fil du temps et surpasse les systèmes de référence sans auto-amélioration ou exploration ouverte, ainsi que les systèmes auto-améliorants antérieurs. De plus, le DGM-H améliore le processus par lequel il génère de nouveaux agents (par exemple, mémoire persistante, suivi des performances), et ces améliorations au niveau méta se transfèrent entre les domaines et s'accumulent entre les exécutions. Les DGM-Hyperagents offrent un aperçu de systèmes d'IA ouverts qui ne se contentent pas de rechercher de meilleures solutions, mais améliorent continuellement leur recherche sur la manière de s'améliorer.

English

Self-improving AI systems aim to reduce reliance on human engineering by learning to improve their own learning and problem-solving processes. Existing approaches to self-improvement rely on fixed, handcrafted meta-level mechanisms, fundamentally limiting how fast such systems can improve. The Darwin Gödel Machine (DGM) demonstrates open-ended self-improvement in coding by repeatedly generating and evaluating self-modified variants. Because both evaluation and self-modification are coding tasks, gains in coding ability can translate into gains in self-improvement ability. However, this alignment does not generally hold beyond coding domains. We introduce hyperagents, self-referential agents that integrate a task agent (which solves the target task) and a meta agent (which modifies itself and the task agent) into a single editable program. Crucially, the meta-level modification procedure is itself editable, enabling metacognitive self-modification, improving not only the task-solving behavior, but also the mechanism that generates future improvements. We instantiate this framework by extending DGM to create DGM-Hyperagents (DGM-H), eliminating the assumption of domain-specific alignment between task performance and self-modification skill to potentially support self-accelerating progress on any computable task. Across diverse domains, the DGM-H improves performance over time and outperforms baselines without self-improvement or open-ended exploration, as well as prior self-improving systems. Furthermore, the DGM-H improves the process by which it generates new agents (e.g., persistent memory, performance tracking), and these meta-level improvements transfer across domains and accumulate across runs. DGM-Hyperagents offer a glimpse of open-ended AI systems that do not merely search for better solutions, but continually improve their search for how to improve.