Hiperagentes

Resumo

Os sistemas de IA de autoaperfeiçoamento visam reduzir a dependência da engenharia humana ao aprender a melhorar seus próprios processos de aprendizagem e resolução de problemas. As abordagens existentes para o autoaperfeiçoamento dependem de mecanismos de meta-nível fixos e artesanais, limitando fundamentalmente a velocidade com que tais sistemas podem melhorar. A Máquina de Gödel Darwin (DGM) demonstra autoaperfeiçoamento de código aberto na programação, gerando e avaliando repetidamente variantes automodificadas. Como tanto a avaliação quanto a automodificação são tarefas de programação, os ganhos na capacidade de codificação podem se traduzir em ganhos na capacidade de autoaperfeiçoamento. No entanto, esse alinhamento geralmente não se mantém além dos domínios de programação. Introduzimos os hiperagentes, agentes autorreferenciais que integram um agente de tarefa (que resolve a tarefa-alvo) e um agente meta (que modifica a si mesmo e ao agente de tarefa) em um único programa editável. Crucialmente, o procedimento de modificação de meta-nível é em si mesmo editável, permitindo a automodificação metacognitiva, melhorando não apenas o comportamento de resolução de tarefas, mas também o mecanismo que gera melhorias futuras. Instanciamos esse framework estendendo a DGM para criar os DGM-Hiperagentes (DGM-H), eliminando a suposição de alinhamento específico de domínio entre o desempenho da tarefa e a habilidade de automodificação para potencialmente suportar progresso autoacelerado em qualquer tarefa computável. Em diversos domínios, o DGM-H melhora o desempenho ao longo do tempo e supera as linhas de base sem autoaperfeiçoamento ou exploração de código aberto, bem como sistemas anteriores de autoaperfeiçoamento. Além disso, o DGM-H melhora o processo pelo qual gera novos agentes (por exemplo, memória persistente, rastreamento de desempenho), e essas melhorias de meta-nível transferem-se entre domínios e acumulam-se ao longo de execuções. Os DGM-Hiperagentes oferecem um vislumbre de sistemas de IA de código aberto que não apenas buscam melhores soluções, mas melhoram continuamente sua busca por como melhorar.

English

Self-improving AI systems aim to reduce reliance on human engineering by learning to improve their own learning and problem-solving processes. Existing approaches to self-improvement rely on fixed, handcrafted meta-level mechanisms, fundamentally limiting how fast such systems can improve. The Darwin Gödel Machine (DGM) demonstrates open-ended self-improvement in coding by repeatedly generating and evaluating self-modified variants. Because both evaluation and self-modification are coding tasks, gains in coding ability can translate into gains in self-improvement ability. However, this alignment does not generally hold beyond coding domains. We introduce hyperagents, self-referential agents that integrate a task agent (which solves the target task) and a meta agent (which modifies itself and the task agent) into a single editable program. Crucially, the meta-level modification procedure is itself editable, enabling metacognitive self-modification, improving not only the task-solving behavior, but also the mechanism that generates future improvements. We instantiate this framework by extending DGM to create DGM-Hyperagents (DGM-H), eliminating the assumption of domain-specific alignment between task performance and self-modification skill to potentially support self-accelerating progress on any computable task. Across diverse domains, the DGM-H improves performance over time and outperforms baselines without self-improvement or open-ended exploration, as well as prior self-improving systems. Furthermore, the DGM-H improves the process by which it generates new agents (e.g., persistent memory, performance tracking), and these meta-level improvements transfer across domains and accumulate across runs. DGM-Hyperagents offer a glimpse of open-ended AI systems that do not merely search for better solutions, but continually improve their search for how to improve.