Verhaltensfingerabdruck von großen Sprachmodellen
Behavioral Fingerprinting of Large Language Models
September 2, 2025
papers.authors: Zehua Pei, Hui-Ling Zhen, Ying Zhang, Zhiyuan Yang, Xing Li, Xianzhi Yu, Mingxuan Yuan, Bei Yu
cs.AI
papers.abstract
Aktuelle Benchmarks für Large Language Models (LLMs) konzentrieren sich hauptsächlich auf Leistungsmetriken und erfassen oft nicht die nuancierten Verhaltensmerkmale, die sie unterscheiden. Dieses Papier stellt ein neuartiges „Behavioral Fingerprinting“-Framework vor, das über traditionelle Evaluierungen hinausgeht, indem es ein vielschichtiges Profil der intrinsischen kognitiven und interaktiven Stile eines Modells erstellt. Mithilfe einer kuratierten Diagnostischen Prompt-Suite und einer innovativen, automatisierten Evaluierungspipeline, in der ein leistungsstarkes LLM als unparteiischer Richter fungiert, analysieren wir achtzehn Modelle über verschiedene Fähigkeitsstufen hinweg. Unsere Ergebnisse zeigen eine kritische Divergenz in der LLM-Landschaft: Während Kernfähigkeiten wie abstraktes und kausales Denken bei den Top-Modellen konvergieren, variieren ausrichtungsbezogene Verhaltensweisen wie Sykophantie und semantische Robustheit erheblich. Wir dokumentieren weiterhin eine clusterübergreifende Standard-Persona (ISTJ/ESTJ), die wahrscheinlich gemeinsame Ausrichtungsanreize widerspiegelt. Zusammengenommen deutet dies darauf hin, dass die interaktive Natur eines Modells keine emergente Eigenschaft seiner Skalierung oder Denkfähigkeit ist, sondern eine direkte Konsequenz spezifischer und stark variabler Entwicklerausrichtungsstrategien. Unser Framework bietet eine reproduzierbare und skalierbare Methodik, um diese tiefgreifenden Verhaltensunterschiede aufzudecken. Projekt: https://github.com/JarvisPei/Behavioral-Fingerprinting
English
Current benchmarks for Large Language Models (LLMs) primarily focus on
performance metrics, often failing to capture the nuanced behavioral
characteristics that differentiate them. This paper introduces a novel
``Behavioral Fingerprinting'' framework designed to move beyond traditional
evaluation by creating a multi-faceted profile of a model's intrinsic cognitive
and interactive styles. Using a curated Diagnostic Prompt Suite and an
innovative, automated evaluation pipeline where a powerful LLM acts as an
impartial judge, we analyze eighteen models across capability tiers. Our
results reveal a critical divergence in the LLM landscape: while core
capabilities like abstract and causal reasoning are converging among top
models, alignment-related behaviors such as sycophancy and semantic robustness
vary dramatically. We further document a cross-model default persona clustering
(ISTJ/ESTJ) that likely reflects common alignment incentives. Taken together,
this suggests that a model's interactive nature is not an emergent property of
its scale or reasoning power, but a direct consequence of specific, and highly
variable, developer alignment strategies. Our framework provides a reproducible
and scalable methodology for uncovering these deep behavioral differences.
Project: https://github.com/JarvisPei/Behavioral-Fingerprinting