Impressão Digital Comportamental de Modelos de Linguagem de Grande Escala

Behavioral Fingerprinting of Large Language Models

September 2, 2025

Autores: Zehua Pei, Hui-Ling Zhen, Ying Zhang, Zhiyuan Yang, Xing Li, Xianzhi Yu, Mingxuan Yuan, Bei Yu

cs.AI

Resumo

Os benchmarks atuais para Modelos de Linguagem de Grande Escala (LLMs) concentram-se principalmente em métricas de desempenho, muitas vezes falhando em capturar as características comportamentais sutis que os diferenciam. Este artigo introduz uma nova estrutura de "Impressão Digital Comportamental" projetada para ir além das avaliações tradicionais, criando um perfil multifacetado dos estilos cognitivos e interativos intrínsecos de um modelo. Utilizando um Conjunto de Prompts Diagnósticos cuidadosamente selecionado e um pipeline de avaliação automatizado e inovador, no qual um LLM poderoso atua como um juiz imparcial, analisamos dezoito modelos em diferentes níveis de capacidade. Nossos resultados revelam uma divergência crítica no cenário dos LLMs: enquanto capacidades centrais, como raciocínio abstrato e causal, estão convergindo entre os modelos mais avançados, comportamentos relacionados ao alinhamento, como sifofância e robustez semântica, variam drasticamente. Além disso, documentamos um agrupamento de persona padrão entre modelos (ISTJ/ESTJ) que provavelmente reflete incentivos comuns de alinhamento. Em conjunto, isso sugere que a natureza interativa de um modelo não é uma propriedade emergente de sua escala ou poder de raciocínio, mas uma consequência direta de estratégias de alinhamento específicas e altamente variáveis dos desenvolvedores. Nossa estrutura fornece uma metodologia reproduzível e escalável para revelar essas diferenças comportamentais profundas. Projeto: https://github.com/JarvisPei/Behavioral-Fingerprinting

English

Current benchmarks for Large Language Models (LLMs) primarily focus on performance metrics, often failing to capture the nuanced behavioral characteristics that differentiate them. This paper introduces a novel ``Behavioral Fingerprinting'' framework designed to move beyond traditional evaluation by creating a multi-faceted profile of a model's intrinsic cognitive and interactive styles. Using a curated Diagnostic Prompt Suite and an innovative, automated evaluation pipeline where a powerful LLM acts as an impartial judge, we analyze eighteen models across capability tiers. Our results reveal a critical divergence in the LLM landscape: while core capabilities like abstract and causal reasoning are converging among top models, alignment-related behaviors such as sycophancy and semantic robustness vary dramatically. We further document a cross-model default persona clustering (ISTJ/ESTJ) that likely reflects common alignment incentives. Taken together, this suggests that a model's interactive nature is not an emergent property of its scale or reasoning power, but a direct consequence of specific, and highly variable, developer alignment strategies. Our framework provides a reproducible and scalable methodology for uncovering these deep behavioral differences. Project: https://github.com/JarvisPei/Behavioral-Fingerprinting