Crítica do Modelo de Agente

Resumo

O que é um agente? O que constitui a agência? Com o surgimento de sistemas baseados em Modelos de Linguagem de Grande Escala (LLM) comercializados como "agentes de codificação", "cocientistas de IA" e outras ferramentas "agênticas" que prometem aumentar a produtividade, e ao mesmo tempo, preocupações "existenciais", como a fuga da IA ao controle humano com poder destrutivo sob uma especulativa "agência mecânica" contra os humanos, tornou-se essencial esclarecer onde termina a automação e começa a agência, tanto para construir sistemas capazes quanto para compreender se e o que temer. Baseando-nos na fundamentação da agência por Descartes no pensamento independente e em representações de seres autônomos na ficção científica, examinamos o panorama atual dos agentes de IA e analisamos arquiteturas de agentes ao longo de cinco dimensões: objetivo, identidade, tomada de decisão, autorregulação e aprendizagem. Especificamente, argumentamos que a agência genuína exige que essas estruturas sejam internalizadas no próprio sistema, em vez de montadas por meio de estruturação externa. Essa distinção entre sistemas agentivos, cuja competência reside em fluxos de trabalho de engenharia, e sistemas agentivos, cujas capacidades (incluindo interação social) surgem endogenamente, define o limite entre sistemas projetados para tarefas prescritas e aqueles capazes de operar no mundo aberto com verdadeira autonomia. Com base nessa análise, propomos a arquitetura Goal-Identity-Configurator (GIC) para um modelo de agente de uso geral, combinando decomposição hierárquica de objetivos, evolução de identidade, raciocínio simulativo fundamentado em um modelo de mundo treinado separadamente, autorregulação aprendida e aprendizagem autodirigida a partir de experiências reais e simuladas. Além disso, compartilhamos percepções sobre a auditabilidade, controlabilidade e segurança de sistemas agentivos que possuem maior autonomia e "agência", mas permanecem sob supervisão humana.

English

What is an agent? What constitutes agency? With the rise of Large Language Model (LLM) systems marketed as ``coding agents'', ``AI co-scientists'', and other ``agentic" tools that promise to drive up productivity, and at the same time, ``existential" concerns such as AI escaping human control with destructive power under a speculative ``machine agency" against humans, it has become essential to clarify where automation ends and agency begins, both for building capable systems and for understanding whether and what to fear. Drawing on Descartes' grounding of agency in independent thought, and on portrayals of autonomous beings in science fiction, we survey the current landscape of AI agents, and analyze agent architectures along five dimensions: goal, identity, decision-making, self-regulation, and learning. Specifically, we argue that genuine agency requires these structures to be internalized within the system itself rather than assembled through external scaffolding. This distinction between agentic systems, whose competence resides in engineered workflows, and agentive systems, whose capabilities (including social interaction) arise endogenously, defines the boundary between systems designed for prescribed tasks, and those capable of operating in the open world with true autonomy. Building on this analysis, we propose the Goal-Identity-Configurator (GIC) architecture for a general-purpose agent model, combining hierarchical goal decomposition, identity evolution, simulative reasoning grounded in a separately trained world model, learned self-regulation, and self-directed learning from both real and simulated experience. Furthermore, we share insight on the auditability, controllability, and safety of agentive systems that possess greater autonomy and ``agency", but remain under human oversight.