Geplant in Pretraining, Beïnvloed door Finetuning: Een Casestudy over de Oorsprong van Cognitieve Vooroordelen in LLM's

Planted in Pretraining, Swayed by Finetuning: A Case Study on the Origins of Cognitive Biases in LLMs

July 9, 2025

Auteurs: Itay Itzhak, Yonatan Belinkov, Gabriel Stanovsky

cs.AI

Samenvatting

Grote taalmodellen (LLM's) vertonen cognitieve biases -- systematische neigingen tot irrationele besluitvorming, vergelijkbaar met die bij mensen. Eerder onderzoek heeft aangetoond dat deze biases variëren tussen modellen en kunnen worden versterkt door instructieafstemming. Het blijft echter onduidelijk of deze verschillen in biases voortkomen uit voorafgaande training, afstemming, of zelfs willekeurige ruis door de stochastiek van het trainingsproces. Wij stellen een tweestaps causale experimentele aanpak voor om deze factoren te ontrafelen. Ten eerste stemmen we modellen meerdere keren af met verschillende willekeurige seeds om te bestuderen hoe trainingswillekeur meer dan 30 cognitieve biases beïnvloedt. Ten tweede introduceren we cross-tuning -- het uitwisselen van instructiedatasets tussen modellen om bronnen van bias te isoleren. Deze uitwisseling gebruikt datasets die tot verschillende biaspatronen hebben geleid, wat direct test of biases datasetafhankelijk zijn. Onze bevindingen laten zien dat hoewel trainingswillekeur enige variabiliteit introduceert, biases voornamelijk worden gevormd door voorafgaande training: modellen met dezelfde vooraf getrainde backbone vertonen meer vergelijkbare biaspatronen dan modellen die alleen afstemmingsdata delen. Deze inzichten suggereren dat het begrijpen van biases in afgestemde modellen vereist dat hun oorsprong in de voorafgaande training wordt overwogen, naast de effecten van afstemming. Dit perspectief kan toekomstige inspanningen begeleiden om principiële strategieën te ontwikkelen voor het evalueren en verminderen van bias in LLM's.

English

Large language models (LLMs) exhibit cognitive biases -- systematic tendencies of irrational decision-making, similar to those seen in humans. Prior work has found that these biases vary across models and can be amplified by instruction tuning. However, it remains unclear if these differences in biases stem from pretraining, finetuning, or even random noise due to training stochasticity. We propose a two-step causal experimental approach to disentangle these factors. First, we finetune models multiple times using different random seeds to study how training randomness affects over 30 cognitive biases. Second, we introduce cross-tuning -- swapping instruction datasets between models to isolate bias sources. This swap uses datasets that led to different bias patterns, directly testing whether biases are dataset-dependent. Our findings reveal that while training randomness introduces some variability, biases are mainly shaped by pretraining: models with the same pretrained backbone exhibit more similar bias patterns than those sharing only finetuning data. These insights suggest that understanding biases in finetuned models requires considering their pretraining origins beyond finetuning effects. This perspective can guide future efforts to develop principled strategies for evaluating and mitigating bias in LLMs.