Critique du modèle d'agent

Résumé

Qu'est-ce qu'un agent ? Qu'est-ce qui constitue l'agentivité ? Avec l'essor des systèmes de grands modèles de langage (LLM) commercialisés sous les appellations d'« agents de codage », de « co-scientifiques IA » et d'autres outils « agentiques » censés accroître la productivité, tout en suscitant simultanément des préoccupations « existentielles » – telle une IA échappant au contrôle humain avec un pouvoir destructeur dans le cadre spéculatif d'une « agentivité machine » dirigée contre les humains –, il devient essentiel de clarifier où se termine l'automatisation et où commence l'agentivité, tant pour construire des systèmes capables que pour comprendre si et de quoi il faut avoir peur. En nous appuyant sur la conception cartésienne de l'agentivité fondée sur la pensée indépendante et sur les représentations d'êtres autonomes dans la science-fiction, nous examinons le paysage actuel des agents d'IA et analysons les architectures d'agents selon cinq dimensions : l'objectif, l'identité, la prise de décision, l'autorégulation et l'apprentissage. Plus précisément, nous soutenons qu'une véritable agentivité exige que ces structures soient internalisées au sein du système lui-même plutôt qu'assemblées par un échafaudage externe. Cette distinction entre les systèmes agentiques, dont la compétence réside dans des flux de travail conçus, et les systèmes agentifs, dont les capacités (y compris l'interaction sociale) émergent de manière endogène, définit la frontière entre les systèmes conçus pour des tâches prescrites et ceux capables d'opérer dans le monde ouvert avec une véritable autonomie. Sur la base de cette analyse, nous proposons l'architecture GIC (Goal-Identity-Configurator) pour un modèle d'agent polyvalent, combinant une décomposition hiérarchique des objectifs, une évolution identitaire, un raisonnement simulatif fondé sur un modèle du monde entraîné séparément, une autorégulation apprise et un apprentissage autodirigé à partir d'expériences réelles et simulées. En outre, nous partageons des perspectives sur l'auditabilité, la contrôlabilité et la sécurité des systèmes agentifs qui possèdent une plus grande autonomie et « agentivité », tout en restant sous supervision humaine.

English

What is an agent? What constitutes agency? With the rise of Large Language Model (LLM) systems marketed as ``coding agents'', ``AI co-scientists'', and other ``agentic" tools that promise to drive up productivity, and at the same time, ``existential" concerns such as AI escaping human control with destructive power under a speculative ``machine agency" against humans, it has become essential to clarify where automation ends and agency begins, both for building capable systems and for understanding whether and what to fear. Drawing on Descartes' grounding of agency in independent thought, and on portrayals of autonomous beings in science fiction, we survey the current landscape of AI agents, and analyze agent architectures along five dimensions: goal, identity, decision-making, self-regulation, and learning. Specifically, we argue that genuine agency requires these structures to be internalized within the system itself rather than assembled through external scaffolding. This distinction between agentic systems, whose competence resides in engineered workflows, and agentive systems, whose capabilities (including social interaction) arise endogenously, defines the boundary between systems designed for prescribed tasks, and those capable of operating in the open world with true autonomy. Building on this analysis, we propose the Goal-Identity-Configurator (GIC) architecture for a general-purpose agent model, combining hierarchical goal decomposition, identity evolution, simulative reasoning grounded in a separately trained world model, learned self-regulation, and self-directed learning from both real and simulated experience. Furthermore, we share insight on the auditability, controllability, and safety of agentive systems that possess greater autonomy and ``agency", but remain under human oversight.