Repensando la Evaluación Psicométrica de los LLMs: Cuándo y Por Qué los Autoinformes Predicen el Comportamiento

Resumen

Anticipar las tendencias conductuales de los LLM a partir de sondas psicométricas de bajo costo es crucial para un despliegue seguro, pero solo si los autoinformes (SR) predicen el comportamiento de manera fiable. Trabajos recientes documentaron una disociación sustancial entre SR y comportamiento en los LLM, pero se basaron en rasgos de personalidad amplios (Big Five) que predicen comportamientos específicos de forma débil, incluso en humanos. Además, el aislamiento de las sesiones conversacionales combinado con un emparejamiento de contexto débil dejó abierta la cuestión de si los LLM realmente carecen de coherencia o si las condiciones necesarias para detectar dicha coherencia no se cumplieron. Contrastamos el Big Five con la Teoría del Comportamiento Planificado (TCP), que mide la intención dirigida a un comportamiento específico y predice el comportamiento humano sustancialmente mejor que los rasgos amplios. Realizamos experimentos en cuatro tareas conductuales y 11 LLM de frontera, variando también el contexto de sesión y la inducción de identidad. Encontramos que la coherencia SR-comportamiento existe pero es selectiva. 1) Dentro de una conversación compartida, la Teoría del Comportamiento Planificado alcanza una coherencia a nivel humano; el Big Five no. 2) Entre conversaciones separadas, la coherencia sobrevive solo para comportamientos anclados fuera de la instrucción inmediata, como el sesgo implícito moldeado por el entrenamiento, y colapsa cuando el comportamiento es fuertemente primado por el contexto, como en la adulación. 3) La indicación de persona (persona prompting) hace que los autoinformes sean más consistentes entre conversaciones, pero no alinea el comportamiento. Estos hallazgos sugieren que los marcos de personalidad gruesos, como el Big Five, pueden no ser las mejores herramientas para evaluar el comportamiento en el despliegue. Se necesitan instrumentos más específicos de tarea y comportamiento, e incluso estos deben evaluarse a través de tareas y contextos.

English

Anticipating LLM behavioral tendencies from low-cost psychometric probes is critical for safe deployment, but only if self-reports (SR) reliably predict behavior. Recent work documented substantial SR-behavior dissociation in LLMs, but relied on broad personality traits (Big 5) that predict specific behaviors weakly, even in humans. Furthermore, the isolation of conversational sessions combined with weak context matching left open whether LLMs truly lack coherence or whether the conditions needed to detect such coherence were not met. We contrast Big 5 with the Theory of Planned Behavior (TPB), which measures intention targeted to a specific behavior and predicts human behavior substantially better than broad traits. We run experiments across four behavioral tasks and 11 frontier LLMs, while also varying session context and identity induction. We find that SR-behavior coherence exists but is selective. 1) Within a shared conversation, the Theory of Planned Behavior reaches human-level coherence; Big 5 does not. 2) Across separate conversations, coherence survives only for behaviors anchored outside the immediate prompt, such as implicit bias shaped by training, and collapses when behavior is strongly primed by context, as with sycophancy. 3) Persona prompting makes self-reports more consistent across conversations, but does not bring behavior into alignment. These findings suggest that coarse personality frameworks, such as Big 5 may not be the best tools for testing deployment behavior. More task- and behavior-specific instruments are needed, and even these must be evaluated across tasks and contexts.