Voorbij Herinnering: Gedragsspecificatie als Interpretatielaag voor AI-Personalisatie

Samenvatting

Wanneer een AI-agent beslissingen neemt namens een persoon, moeten die beslissingen overeenkomen met de gebruiker. We introduceren representatieve nauwkeurigheid om te meten hoe getrouw een systeem de interpretatie van een persoon vastlegt. Een interpretatielaag wordt geoperationaliseerd als een Gedragsspecificatie. Onze referentie-implementatie comprimeert de gegevens van een persoon agressief tot interpretatieve patronen, die als context aan een taalmodel worden aangeboden. We evalueren de Specificatie op een prototypebenchmark van achtergehouden gedragsvoorspellingen, gescoord door een gekalibreerd panel van 5 beoordelaars bestaande uit taalmodellen. We testen deze onafhankelijk en in combinatie met een reeks contextcondities: volledig ruw corpus, volledig geëxtraheerde feiten, en vier commerciële geheugensystemen (Mem0, Letta, Supermemory, Zep). Over 14 autobiografische corpora in het publieke domein verhoogt de Specificatie de representatieve nauwkeurigheid in het totaal en elimineert bijna alle voorbehouden van het model. Het herstelt het grootste deel van wat het ruwe corpus levert, tegen ongeveer 25x lagere contextkosten. De Specificatie brengt proefpersonen naar een gemeenschappelijk voorspellingsniveau, ongeacht de basistraining; de stijging in absolute punten is dan ook het grootst waar de basis het laagst is, wat suggereert dat de relevante populatie iedereen is die niet adequaat is vertegenwoordigd in de basistraining. De stijging is het grootst bij vragen die interpretatie vereisen, waar het bieden van een interpretatielaag modelgedrag mogelijk maakt dat geëxtraheerde feiten of het ruwe corpus niet kunnen. Omgekeerd kan deze laag bij vragen die herinnering vereisen eerder storen dan helpen. We concluderen dat representatieve nauwkeurigheid verschilt van herinnering en dat mens-AI-afstemming afhangt van hoe nauwkeurig de gebruiker wordt gerepresenteerd. Representatieve nauwkeurigheid maakt die afstemming toetsbaar.

English

If an AI agent makes decisions on a person's behalf, those decisions must align with its user. We introduce representational accuracy to measure how faithfully a system captures a person's interpretation. An interpretive layer is operationalized as a Behavioral Specification. Our reference implementation aggressively compresses a person's data into interpretive patterns, served as context to a language model. We evaluate the Specification on a prototype benchmark of held-out behavioral predictions scored by a calibrated 5-judge LLM panel. We test it independently and in composition with a range of context conditions: full raw corpus, full extracted facts, and four commercial memory systems (Mem0, Letta, Supermemory, Zep). Across 14 public-domain autobiographical corpora, the Specification lifts representational accuracy in aggregate and nearly eliminates model hedging. It recovers most of what the raw corpus delivers, at ~25x less context cost. The Specification lifts subjects toward a common predictive level regardless of pretraining baseline; the lift in absolute points is therefore largest where the baseline is lowest, suggesting the population of relevance is anyone not adequately represented in pretraining. Lift is greatest on interpretation-required questions, where providing an interpretive layer enables model behavior that extracted facts or raw corpus do not. Conversely, on recall-required questions, this layer can interfere rather than help. We conclude that representational accuracy is distinct from recall and that human-AI alignment is dependent on how accurately the user is represented. Representational accuracy makes that alignment testable.