Kritiek op het Agentmodel

Samenvatting

Wat is een agent? Wat bepaalt agentschap? Met de opkomst van Large Language Model (LLM)-systemen die op de markt worden gebracht als 'coding agents', 'AI co-scientists' en andere 'agentische' hulpmiddelen die beloven de productiviteit te verhogen, en tegelijkertijd 'existentiële' zorgen zoals AI die aan menselijke controle ontsnapt met destructieve kracht onder een speculatieve 'machine agency' tegen mensen, is het essentieel geworden om te verduidelijken waar automatisering eindigt en agentschap begint, zowel voor het bouwen van capabele systemen als voor het begrijpen of en waarvoor we bang moeten zijn. Voortbouwend op Descartes' fundering van agentschap in onafhankelijk denken, en op portretten van autonome wezens in sciencefiction, onderzoeken we het huidige landschap van AI-agenten en analyseren we agentarchitecturen langs vijf dimensies: doel, identiteit, besluitvorming, zelfregulatie en leren. Specifiek stellen we dat oprecht agentschap vereist dat deze structuren in het systeem zelf worden geïnternaliseerd in plaats van te worden samengesteld via externe scaffolding. Dit onderscheid tussen agentische systemen, waarvan de competentie in ontworpen workflows ligt, en agentieve systemen, waarvan de capaciteiten (inclusief sociale interactie) endogeen ontstaan, definieert de grens tussen systemen ontworpen voor voorgeschreven taken en systemen die in staat zijn om met echte autonomie in de open wereld te opereren. Voortbouwend op deze analyse stellen we de Goal-Identity-Configurator (GIC)-architectuur voor voor een algemeen agentmodel, dat hiërarchische doeldecompositie, identiteitsevolutie, simulatief redeneren dat is gebaseerd op een apart getraind wereldmodel, aangeleerde zelfregulatie en zelfgestuurd leren van zowel echte als gesimuleerde ervaringen combineert. Verder delen we inzichten over de controleerbaarheid, beheersbaarheid en veiligheid van agentieve systemen die meer autonomie en 'agentschap' bezitten, maar onder menselijk toezicht blijven.

English

What is an agent? What constitutes agency? With the rise of Large Language Model (LLM) systems marketed as ``coding agents'', ``AI co-scientists'', and other ``agentic" tools that promise to drive up productivity, and at the same time, ``existential" concerns such as AI escaping human control with destructive power under a speculative ``machine agency" against humans, it has become essential to clarify where automation ends and agency begins, both for building capable systems and for understanding whether and what to fear. Drawing on Descartes' grounding of agency in independent thought, and on portrayals of autonomous beings in science fiction, we survey the current landscape of AI agents, and analyze agent architectures along five dimensions: goal, identity, decision-making, self-regulation, and learning. Specifically, we argue that genuine agency requires these structures to be internalized within the system itself rather than assembled through external scaffolding. This distinction between agentic systems, whose competence resides in engineered workflows, and agentive systems, whose capabilities (including social interaction) arise endogenously, defines the boundary between systems designed for prescribed tasks, and those capable of operating in the open world with true autonomy. Building on this analysis, we propose the Goal-Identity-Configurator (GIC) architecture for a general-purpose agent model, combining hierarchical goal decomposition, identity evolution, simulative reasoning grounded in a separately trained world model, learned self-regulation, and self-directed learning from both real and simulated experience. Furthermore, we share insight on the auditability, controllability, and safety of agentive systems that possess greater autonomy and ``agency", but remain under human oversight.