Além da Recordação: Especificação Comportamental como uma Camada Interpretativa para a Personalização de IA

Resumo

Se um agente de IA toma decisões em nome de uma pessoa, essas decisões devem estar alinhadas com o seu usuário. Introduzimos a precisão representacional para medir quão fielmente um sistema captura a interpretação de uma pessoa. Uma camada interpretativa é operacionalizada como uma Especificação Comportamental. Nossa implementação de referência comprime agressivamente os dados de uma pessoa em padrões interpretativos, servindo como contexto para um modelo de linguagem. Avaliamos a Especificação em um benchmark protótipo de previsões comportamentais retidas, pontuadas por um painel calibrado de 5 LLMs juízes. Testamos a Especificação de forma independente e em composição com uma variedade de condições de contexto: corpus bruto completo, fatos extraídos completos e quatro sistemas de memória comerciais (Mem0, Letta, Supermemory, Zep). Em 14 corpora autobiográficos de domínio público, a Especificação eleva a precisão representacional de forma agregada e quase elimina a hesitação do modelo. Ela recupera a maior parte do que o corpus bruto fornece, com um custo de contexto ~25 vezes menor. A Especificação eleva os sujeitos a um nível preditivo comum, independentemente da linha de base do pré-treinamento; portanto, o ganho em pontos absolutos é maior onde a linha de base é mais baixa, sugerindo que a população relevante é qualquer pessoa não adequadamente representada no pré-treinamento. O ganho é maior em perguntas que exigem interpretação, onde fornecer uma camada interpretativa permite um comportamento do modelo que fatos extraídos ou corpus bruto não proporcionam. Por outro lado, em perguntas que exigem recordação, essa camada pode interferir em vez de ajudar. Concluímos que a precisão representacional é distinta da recordação e que o alinhamento humano-IA depende de quão precisamente o usuário é representado. A precisão representacional torna esse alinhamento testável.

English

If an AI agent makes decisions on a person's behalf, those decisions must align with its user. We introduce representational accuracy to measure how faithfully a system captures a person's interpretation. An interpretive layer is operationalized as a Behavioral Specification. Our reference implementation aggressively compresses a person's data into interpretive patterns, served as context to a language model. We evaluate the Specification on a prototype benchmark of held-out behavioral predictions scored by a calibrated 5-judge LLM panel. We test it independently and in composition with a range of context conditions: full raw corpus, full extracted facts, and four commercial memory systems (Mem0, Letta, Supermemory, Zep). Across 14 public-domain autobiographical corpora, the Specification lifts representational accuracy in aggregate and nearly eliminates model hedging. It recovers most of what the raw corpus delivers, at ~25x less context cost. The Specification lifts subjects toward a common predictive level regardless of pretraining baseline; the lift in absolute points is therefore largest where the baseline is lowest, suggesting the population of relevance is anyone not adequately represented in pretraining. Lift is greatest on interpretation-required questions, where providing an interpretive layer enables model behavior that extracted facts or raw corpus do not. Conversely, on recall-required questions, this layer can interfere rather than help. We conclude that representational accuracy is distinct from recall and that human-AI alignment is dependent on how accurately the user is represented. Representational accuracy makes that alignment testable.