Een heroverweging van de psychometrische evaluatie van LLM's: wanneer en waarom zelfrapportages gedrag voorspellen

Samenvatting

Het voorspellen van gedragstendensen van LLM's op basis van goedkope psychometrische sondes is cruciaal voor veilige implementatie, maar alleen als zelfrapportages (ZR) gedrag betrouwbaar voorspellen. Recent onderzoek documenteerde een aanzienlijke dissociatie tussen zelfrapportage en gedrag bij LLM's, maar baseerde zich op brede persoonlijkheidstrekken (Big Five) die specifiek gedrag zwak voorspellen, zelfs bij mensen. Bovendien liet de isolatie van conversatiesessies in combinatie met zwakke contextovereenstemming de vraag open of LLM's werkelijk coherentie missen, of dat de voorwaarden om dergelijke coherentie te detecteren niet waren vervuld. We contrasteren de Big Five met de Theorie van Gepland Gedrag (TGG), die intentie meet die gericht is op een specifiek gedrag en menselijk gedrag aanzienlijk beter voorspelt dan brede trekken. We voeren experimenten uit over vier gedragstaken en 11 geavanceerde LLM's, terwijl we ook de sessiecontext en identiteitsinductie variëren. We vinden dat coherentie tussen zelfrapportage en gedrag bestaat, maar selectief is. 1) Binnen een gedeeld gesprek bereikt de Theorie van Gepland Gedrag coherentie op menselijk niveau; de Big Five niet. 2) Over afzonderlijke gesprekken heen blijft coherentie alleen bestaan voor gedragingen die buiten de directe prompt zijn verankerd, zoals impliciete vooroordelen gevormd door training, en stort in elkaar wanneer gedrag sterk door context wordt geprimed, zoals bij vleierij. 3) Personaprompting maakt zelfrapportages consistenter over gesprekken heen, maar brengt gedrag niet in overeenstemming. Deze bevindingen suggereren dat grove persoonlijkheidskaders, zoals de Big Five, mogelijk niet de beste instrumenten zijn voor het testen van implementatiegedrag. Er zijn meer taak- en gedragsspecifieke instrumenten nodig, en zelfs deze moeten over taken en contexten worden geëvalueerd.

English

Anticipating LLM behavioral tendencies from low-cost psychometric probes is critical for safe deployment, but only if self-reports (SR) reliably predict behavior. Recent work documented substantial SR-behavior dissociation in LLMs, but relied on broad personality traits (Big 5) that predict specific behaviors weakly, even in humans. Furthermore, the isolation of conversational sessions combined with weak context matching left open whether LLMs truly lack coherence or whether the conditions needed to detect such coherence were not met. We contrast Big 5 with the Theory of Planned Behavior (TPB), which measures intention targeted to a specific behavior and predicts human behavior substantially better than broad traits. We run experiments across four behavioral tasks and 11 frontier LLMs, while also varying session context and identity induction. We find that SR-behavior coherence exists but is selective. 1) Within a shared conversation, the Theory of Planned Behavior reaches human-level coherence; Big 5 does not. 2) Across separate conversations, coherence survives only for behaviors anchored outside the immediate prompt, such as implicit bias shaped by training, and collapses when behavior is strongly primed by context, as with sycophancy. 3) Persona prompting makes self-reports more consistent across conversations, but does not bring behavior into alignment. These findings suggest that coarse personality frameworks, such as Big 5 may not be the best tools for testing deployment behavior. More task- and behavior-specific instruments are needed, and even these must be evaluated across tasks and contexts.