Gepflanzt im Pretraining, gelenkt durch Finetuning: Eine Fallstudie zu den Ursprüngen kognitiver Verzerrungen in LLMs

Planted in Pretraining, Swayed by Finetuning: A Case Study on the Origins of Cognitive Biases in LLMs

July 9, 2025

papers.authors: Itay Itzhak, Yonatan Belinkov, Gabriel Stanovsky

cs.AI

papers.abstract

Große Sprachmodelle (LLMs) zeigen kognitive Verzerrungen – systematische Tendenzen zu irrationalen Entscheidungen, ähnlich wie sie bei Menschen beobachtet werden. Frühere Arbeiten haben festgestellt, dass diese Verzerrungen zwischen Modellen variieren und durch Instruction Tuning verstärkt werden können. Es bleibt jedoch unklar, ob diese Unterschiede in den Verzerrungen auf das Pretraining, das Finetuning oder sogar auf zufälliges Rauschen aufgrund der Trainingsstochastizität zurückzuführen sind. Wir schlagen einen zweistufigen kausalen experimentellen Ansatz vor, um diese Faktoren zu entwirren. Zunächst finetunen wir Modelle mehrmals mit unterschiedlichen Zufallsinitialisierungen, um zu untersuchen, wie die Trainingszufälligkeit über 30 kognitive Verzerrungen beeinflusst. Zweitens führen wir Cross-Tuning ein – den Austausch von Instruction-Datensätzen zwischen Modellen, um die Quellen der Verzerrungen zu isolieren. Dieser Austausch verwendet Datensätze, die zu unterschiedlichen Verzerrungsmustern führten, und testet direkt, ob die Verzerrungen datensatzabhängig sind. Unsere Ergebnisse zeigen, dass die Trainingszufälligkeit zwar einige Variabilität einführt, die Verzerrungen jedoch hauptsächlich durch das Pretraining geprägt werden: Modelle mit demselben vortrainierten Backbone zeigen ähnlichere Verzerrungsmuster als solche, die nur Finetuning-Daten teilen. Diese Erkenntnisse legen nahe, dass das Verständnis von Verzerrungen in finetunten Modellen die Berücksichtigung ihrer Pretraining-Ursprünge über die Effekte des Finetunings hinaus erfordert. Diese Perspektive kann zukünftige Bemühungen leiten, um prinzipielle Strategien zur Bewertung und Minderung von Verzerrungen in LLMs zu entwickeln.

English

Large language models (LLMs) exhibit cognitive biases -- systematic tendencies of irrational decision-making, similar to those seen in humans. Prior work has found that these biases vary across models and can be amplified by instruction tuning. However, it remains unclear if these differences in biases stem from pretraining, finetuning, or even random noise due to training stochasticity. We propose a two-step causal experimental approach to disentangle these factors. First, we finetune models multiple times using different random seeds to study how training randomness affects over 30 cognitive biases. Second, we introduce cross-tuning -- swapping instruction datasets between models to isolate bias sources. This swap uses datasets that led to different bias patterns, directly testing whether biases are dataset-dependent. Our findings reveal that while training randomness introduces some variability, biases are mainly shaped by pretraining: models with the same pretrained backbone exhibit more similar bias patterns than those sharing only finetuning data. These insights suggest that understanding biases in finetuned models requires considering their pretraining origins beyond finetuning effects. This perspective can guide future efforts to develop principled strategies for evaluating and mitigating bias in LLMs.