Huella Conductual de Modelos de Lenguaje a Gran Escala

Resumen

Los puntos de referencia actuales para los Modelos de Lenguaje de Gran Escala (LLMs) se centran principalmente en métricas de rendimiento, a menudo sin capturar las características conductuales matizadas que los diferencian. Este artículo presenta un novedoso marco de "Huella Conductual" diseñado para ir más allá de la evaluación tradicional, creando un perfil multifacético de los estilos cognitivos e interactivos intrínsecos de un modelo. Utilizando un conjunto de Indicaciones Diagnósticas cuidadosamente seleccionado y una innovadora tubería de evaluación automatizada en la que un LLM potente actúa como juez imparcial, analizamos dieciocho modelos a través de diferentes niveles de capacidad. Nuestros resultados revelan una divergencia crítica en el panorama de los LLMs: mientras que las capacidades centrales, como el razonamiento abstracto y causal, están convergiendo entre los modelos más avanzados, los comportamientos relacionados con la alineación, como la sicofancia y la robustez semántica, varían drásticamente. Además, documentamos una agrupación de personalidad predeterminada entre modelos (ISTJ/ESTJ) que probablemente refleja incentivos comunes de alineación. En conjunto, esto sugiere que la naturaleza interactiva de un modelo no es una propiedad emergente de su escala o poder de razonamiento, sino una consecuencia directa de estrategias de alineación específicas y altamente variables por parte de los desarrolladores. Nuestro marco proporciona una metodología reproducible y escalable para descubrir estas profundas diferencias conductuales. Proyecto: https://github.com/JarvisPei/Behavioral-Fingerprinting

English

Current benchmarks for Large Language Models (LLMs) primarily focus on performance metrics, often failing to capture the nuanced behavioral characteristics that differentiate them. This paper introduces a novel ``Behavioral Fingerprinting'' framework designed to move beyond traditional evaluation by creating a multi-faceted profile of a model's intrinsic cognitive and interactive styles. Using a curated Diagnostic Prompt Suite and an innovative, automated evaluation pipeline where a powerful LLM acts as an impartial judge, we analyze eighteen models across capability tiers. Our results reveal a critical divergence in the LLM landscape: while core capabilities like abstract and causal reasoning are converging among top models, alignment-related behaviors such as sycophancy and semantic robustness vary dramatically. We further document a cross-model default persona clustering (ISTJ/ESTJ) that likely reflects common alignment incentives. Taken together, this suggests that a model's interactive nature is not an emergent property of its scale or reasoning power, but a direct consequence of specific, and highly variable, developer alignment strategies. Our framework provides a reproducible and scalable methodology for uncovering these deep behavioral differences. Project: https://github.com/JarvisPei/Behavioral-Fingerprinting

Huella Conductual de Modelos de Lenguaje a Gran Escala

Behavioral Fingerprinting of Large Language Models

Resumen

Support