Piantato nel Pretraining, Influenzato dal Finetuning: Un Caso di Studio sulle Origini dei Bias Cognitivi nei Modelli Linguistici di Grande Dimensione

Planted in Pretraining, Swayed by Finetuning: A Case Study on the Origins of Cognitive Biases in LLMs

July 9, 2025

Autori: Itay Itzhak, Yonatan Belinkov, Gabriel Stanovsky

cs.AI

Abstract

I grandi modelli linguistici (LLM) manifestano pregiudizi cognitivi — tendenze sistematiche di decisione irrazionale, simili a quelle osservate negli esseri umani. Studi precedenti hanno rilevato che questi pregiudizi variano tra i modelli e possono essere amplificati dalla messa a punto tramite istruzioni. Tuttavia, non è ancora chiaro se queste differenze nei pregiudizi derivino dalla pre-addestramento, dalla messa a punto o persino dal rumore casuale dovuto alla stocasticità del training. Proponiamo un approccio sperimentale causale in due fasi per distinguere questi fattori. In primo luogo, mettiamo a punto i modelli più volte utilizzando diversi semi casuali per studiare come la casualità del training influisca su oltre 30 pregiudizi cognitivi. In secondo luogo, introduciamo il cross-tuning — scambiando i dataset di istruzioni tra i modelli per isolare le fonti dei pregiudizi. Questo scambio utilizza dataset che hanno portato a schemi di pregiudizio diversi, testando direttamente se i pregiudizi dipendono dal dataset. I nostri risultati rivelano che, sebbene la casualità del training introduca una certa variabilità, i pregiudizi sono principalmente modellati dalla pre-addestramento: i modelli con lo stesso backbone pre-addestrato mostrano schemi di pregiudizio più simili rispetto a quelli che condividono solo i dati di messa a punto. Queste intuizioni suggeriscono che comprendere i pregiudizi nei modelli messi a punto richiede di considerare le loro origini nel pre-addestramento oltre agli effetti della messa a punto. Questa prospettiva può guidare futuri sforzi per sviluppare strategie metodologiche per valutare e mitigare i pregiudizi nei LLM.

English

Large language models (LLMs) exhibit cognitive biases -- systematic tendencies of irrational decision-making, similar to those seen in humans. Prior work has found that these biases vary across models and can be amplified by instruction tuning. However, it remains unclear if these differences in biases stem from pretraining, finetuning, or even random noise due to training stochasticity. We propose a two-step causal experimental approach to disentangle these factors. First, we finetune models multiple times using different random seeds to study how training randomness affects over 30 cognitive biases. Second, we introduce cross-tuning -- swapping instruction datasets between models to isolate bias sources. This swap uses datasets that led to different bias patterns, directly testing whether biases are dataset-dependent. Our findings reveal that while training randomness introduces some variability, biases are mainly shaped by pretraining: models with the same pretrained backbone exhibit more similar bias patterns than those sharing only finetuning data. These insights suggest that understanding biases in finetuned models requires considering their pretraining origins beyond finetuning effects. This perspective can guide future efforts to develop principled strategies for evaluating and mitigating bias in LLMs.