Hyperagenten

Samenvatting

Zelfverbeterende AI-systemen streven ernaar de afhankelijkheid van menselijk ingrijpen te verminderen door te leren hun eigen leer- en probleemoplossingsprocessen te verbeteren. Bestaande benaderingen voor zelfverbetering steunen op vaste, handmatig ontworpen meta-mechanismen, wat fundamenteel beperkt hoe snel dergelijke systemen kunnen verbeteren. De Darwin Gödel Machine (DGM) demonstreert open-einde zelfverbetering in programmeren door herhaaldelijk zelf-gemodificeerde varianten te genereren en te evalueren. Omdat zowel evaluatie als zelfmodificatie programmeertaken zijn, kunnen verbeteringen in programmeervaardigheid vertaald worden naar verbeteringen in zelfverbeteringsvermogen. Deze afstemming geldt echter over het algemeen niet buiten programmeerdomeinen. Wij introduceren hyperagents, zelf-referentiële agents die een taakagent (die de doeltaak oplost) en een meta-agent (die zichzelf en de taakagent wijzigt) integreren in één enkel bewerkbaar programma. Cruciaal is dat de meta-procedure voor modificatie zelf ook bewerkbaar is, waardoor metacognitieve zelfmodificatie mogelijk wordt, wat niet alleen het taakoplossend gedrag verbetert, maar ook het mechanisme dat toekomstige verbeteringen genereert. Wij concretiseren dit raamwerk door de DGM uit te breiden om DGM-Hyperagents (DGM-H) te creëren, waarbij de aanname van domeinspecifieke afstemming tussen taakprestatie en zelfmodificatievaardigheid wordt geëlimineerd om mogelijk zelfversnellende vooruitgang op elke berekenbare taak te ondersteunen. In diverse domeinen verbetert de DGM-H de prestaties in de loop der tijd en presteert het beter dan baseline-systemen zonder zelfverbetering of open-einde exploratie, evenals eerdere zelfverbeterende systemen. Bovendien verbetert de DGM-H het proces waarmee het nieuwe agents genereert (bijvoorbeeld persistente geheugen, prestatievolging), en deze meta-verbeteringen transfereren tussen domeinen en accumuleren over runs heen. DGM-Hyperagents bieden een glimp van open-einde AI-systemen die niet slechts zoeken naar betere oplossingen, maar continu hun zoektocht verbeteren naar hoe ze kunnen verbeteren.

English

Self-improving AI systems aim to reduce reliance on human engineering by learning to improve their own learning and problem-solving processes. Existing approaches to self-improvement rely on fixed, handcrafted meta-level mechanisms, fundamentally limiting how fast such systems can improve. The Darwin Gödel Machine (DGM) demonstrates open-ended self-improvement in coding by repeatedly generating and evaluating self-modified variants. Because both evaluation and self-modification are coding tasks, gains in coding ability can translate into gains in self-improvement ability. However, this alignment does not generally hold beyond coding domains. We introduce hyperagents, self-referential agents that integrate a task agent (which solves the target task) and a meta agent (which modifies itself and the task agent) into a single editable program. Crucially, the meta-level modification procedure is itself editable, enabling metacognitive self-modification, improving not only the task-solving behavior, but also the mechanism that generates future improvements. We instantiate this framework by extending DGM to create DGM-Hyperagents (DGM-H), eliminating the assumption of domain-specific alignment between task performance and self-modification skill to potentially support self-accelerating progress on any computable task. Across diverse domains, the DGM-H improves performance over time and outperforms baselines without self-improvement or open-ended exploration, as well as prior self-improving systems. Furthermore, the DGM-H improves the process by which it generates new agents (e.g., persistent memory, performance tracking), and these meta-level improvements transfer across domains and accumulate across runs. DGM-Hyperagents offer a glimpse of open-ended AI systems that do not merely search for better solutions, but continually improve their search for how to improve.