Impronta Comportamentale dei Modelli Linguistici su Larga Scala

Abstract

Gli attuali benchmark per i Large Language Models (LLM) si concentrano principalmente su metriche di prestazione, spesso tralasciando le caratteristiche comportamentali sfumate che li differenziano. Questo articolo introduce un nuovo framework di "Impronta Comportamentale" progettato per andare oltre la valutazione tradizionale, creando un profilo multifaccettato degli stili cognitivi e interattivi intrinseci di un modello. Utilizzando una suite di prompt diagnostici curata e una pipeline di valutazione automatizzata innovativa, in cui un potente LLM funge da giudice imparziale, analizziamo diciotto modelli di diversi livelli di capacità. I nostri risultati rivelano una divergenza critica nel panorama degli LLM: mentre le capacità fondamentali come il ragionamento astratto e causale convergono tra i modelli di punta, i comportamenti legati all'allineamento, come la sifofanza e la robustezza semantica, variano in modo significativo. Documentiamo inoltre un raggruppamento trasversale di personalità predefinita (ISTJ/ESTJ) che probabilmente riflette incentivi comuni di allineamento. Nel complesso, ciò suggerisce che la natura interattiva di un modello non sia una proprietà emergente della sua scala o potenza di ragionamento, ma una conseguenza diretta di strategie di allineamento specifiche e altamente variabili da parte degli sviluppatori. Il nostro framework fornisce una metodologia riproducibile e scalabile per scoprire queste profonde differenze comportamentali. Progetto: https://github.com/JarvisPei/Behavioral-Fingerprinting

English

Current benchmarks for Large Language Models (LLMs) primarily focus on performance metrics, often failing to capture the nuanced behavioral characteristics that differentiate them. This paper introduces a novel ``Behavioral Fingerprinting'' framework designed to move beyond traditional evaluation by creating a multi-faceted profile of a model's intrinsic cognitive and interactive styles. Using a curated Diagnostic Prompt Suite and an innovative, automated evaluation pipeline where a powerful LLM acts as an impartial judge, we analyze eighteen models across capability tiers. Our results reveal a critical divergence in the LLM landscape: while core capabilities like abstract and causal reasoning are converging among top models, alignment-related behaviors such as sycophancy and semantic robustness vary dramatically. We further document a cross-model default persona clustering (ISTJ/ESTJ) that likely reflects common alignment incentives. Taken together, this suggests that a model's interactive nature is not an emergent property of its scale or reasoning power, but a direct consequence of specific, and highly variable, developer alignment strategies. Our framework provides a reproducible and scalable methodology for uncovering these deep behavioral differences. Project: https://github.com/JarvisPei/Behavioral-Fingerprinting

Impronta Comportamentale dei Modelli Linguistici su Larga Scala

Behavioral Fingerprinting of Large Language Models

Abstract

Support