Gedragsmatige vingerafdrukken van grote taalmodellen

Samenvatting

Huidige benchmarks voor Large Language Models (LLMs) richten zich voornamelijk op prestatiemetrics, waarbij vaak de genuanceerde gedragskenmerken die hen onderscheiden, over het hoofd worden gezien. Dit artikel introduceert een nieuw "Behavioral Fingerprinting"-raamwerk dat is ontworpen om verder te gaan dan traditionele evaluatie door een veelzijdig profiel te creëren van de intrinsieke cognitieve en interactieve stijlen van een model. Met behulp van een zorgvuldig samengestelde Diagnostic Prompt Suite en een innovatieve, geautomatiseerde evaluatiepijplijn waarin een krachtige LLM optreedt als onpartijdige beoordelaar, analyseren we achttien modellen over verschillende capaciteitsniveaus. Onze resultaten onthullen een kritieke divergentie in het LLM-landschap: terwijl kerncapaciteiten zoals abstract en causaal redeneren convergeren onder de topmodellen, variëren alignment-gerelateerde gedragingen zoals sycophantie en semantische robuustheid aanzienlijk. We documenteren verder een cross-model default persona clustering (ISTJ/ESTJ) die waarschijnlijk gemeenschappelijke alignment-prikkels weerspiegelt. Samen genomen suggereert dit dat de interactieve aard van een model geen emergent eigenschap is van zijn schaal of redeneervermogen, maar een direct gevolg van specifieke, en zeer variabele, ontwikkelaarsalignmentstrategieën. Ons raamwerk biedt een reproduceerbare en schaalbare methodologie om deze diepe gedragsverschillen bloot te leggen. Project: https://github.com/JarvisPei/Behavioral-Fingerprinting

English

Current benchmarks for Large Language Models (LLMs) primarily focus on performance metrics, often failing to capture the nuanced behavioral characteristics that differentiate them. This paper introduces a novel ``Behavioral Fingerprinting'' framework designed to move beyond traditional evaluation by creating a multi-faceted profile of a model's intrinsic cognitive and interactive styles. Using a curated Diagnostic Prompt Suite and an innovative, automated evaluation pipeline where a powerful LLM acts as an impartial judge, we analyze eighteen models across capability tiers. Our results reveal a critical divergence in the LLM landscape: while core capabilities like abstract and causal reasoning are converging among top models, alignment-related behaviors such as sycophancy and semantic robustness vary dramatically. We further document a cross-model default persona clustering (ISTJ/ESTJ) that likely reflects common alignment incentives. Taken together, this suggests that a model's interactive nature is not an emergent property of its scale or reasoning power, but a direct consequence of specific, and highly variable, developer alignment strategies. Our framework provides a reproducible and scalable methodology for uncovering these deep behavioral differences. Project: https://github.com/JarvisPei/Behavioral-Fingerprinting

Gedragsmatige vingerafdrukken van grote taalmodellen

Behavioral Fingerprinting of Large Language Models

Samenvatting

Support