Au-delà du rappel : la spécification comportementale comme couche interprétative pour la personnalisation de l'IA

Résumé

Si un agent d’IA prend des décisions pour le compte d’une personne, ces décisions doivent s’aligner sur celle-ci. Nous introduisons la précision représentationnelle pour mesurer la fidélité avec laquelle un système capture l’interprétation d’une personne. Une couche interprétative est opérationnalisée sous la forme d’une Spécification Comportementale. Notre implémentation de référence comprime de manière agressive les données d’une personne en motifs interprétatifs, servis comme contexte à un modèle de langage. Nous évaluons la Spécification sur un prototype de référence composé de prédictions comportementales hors échantillon, notées par un panel calibré de 5 modèles de langage juges. Nous la testons de manière indépendante et en composition avec une gamme de conditions contextuelles : corpus brut intégral, faits extraits intégraux, et quatre systèmes de mémoire commerciaux (Mem0, Letta, Supermemory, Zep). Sur 14 corpus autobiographiques issus du domaine public, la Spécification améliore la précision représentationnelle de manière agrégée et élimine presque totalement la prudence du modèle. Elle récupère la majeure partie de ce que livre le corpus brut, pour un coût contextuel environ 25 fois moindre. La Spécification élève les sujets vers un niveau prédictif commun, indépendamment de la base de pré-entraînement ; le gain en points absolus est donc le plus important là où la base est la plus faible, ce qui suggère que la population concernée est toute personne insuffisamment représentée dans le pré-entraînement. Le gain est maximal sur les questions nécessitant une interprétation, où la fourniture d’une couche interprétative permet un comportement du modèle que les faits extraits ou le corpus brut ne suscitent pas. Inversement, sur les questions nécessitant un rappel, cette couche peut interférer plutôt qu’aider. Nous concluons que la précision représentationnelle est distincte du rappel et que l’alignement humain-IA dépend de la précision avec laquelle l’utilisateur est représenté. La précision représentationnelle rend cet alignement testable.

English

If an AI agent makes decisions on a person's behalf, those decisions must align with its user. We introduce representational accuracy to measure how faithfully a system captures a person's interpretation. An interpretive layer is operationalized as a Behavioral Specification. Our reference implementation aggressively compresses a person's data into interpretive patterns, served as context to a language model. We evaluate the Specification on a prototype benchmark of held-out behavioral predictions scored by a calibrated 5-judge LLM panel. We test it independently and in composition with a range of context conditions: full raw corpus, full extracted facts, and four commercial memory systems (Mem0, Letta, Supermemory, Zep). Across 14 public-domain autobiographical corpora, the Specification lifts representational accuracy in aggregate and nearly eliminates model hedging. It recovers most of what the raw corpus delivers, at ~25x less context cost. The Specification lifts subjects toward a common predictive level regardless of pretraining baseline; the lift in absolute points is therefore largest where the baseline is lowest, suggesting the population of relevance is anyone not adequately represented in pretraining. Lift is greatest on interpretation-required questions, where providing an interpretive layer enables model behavior that extracted facts or raw corpus do not. Conversely, on recall-required questions, this layer can interfere rather than help. We conclude that representational accuracy is distinct from recall and that human-AI alignment is dependent on how accurately the user is represented. Representational accuracy makes that alignment testable.