Enraciné dans le prétraitement, influencé par le réglage fin : Une étude de cas sur les origines des biais cognitifs dans les modèles de langage de grande taille.

Planted in Pretraining, Swayed by Finetuning: A Case Study on the Origins of Cognitive Biases in LLMs

July 9, 2025

papers.authors: Itay Itzhak, Yonatan Belinkov, Gabriel Stanovsky

cs.AI

papers.abstract

Les grands modèles de langage (LLM) présentent des biais cognitifs -- des tendances systématiques à la prise de décision irrationnelle, similaires à celles observées chez les humains. Les travaux antérieurs ont montré que ces biais varient selon les modèles et peuvent être amplifiés par l'ajustement par instruction. Cependant, il reste incertain si ces différences de biais proviennent du pré-entraînement, du fine-tuning, ou même du bruit aléatoire dû à la stochasticité de l'entraînement. Nous proposons une approche expérimentale causale en deux étapes pour démêler ces facteurs. Premièrement, nous ajustons plusieurs fois les modèles en utilisant différentes graines aléatoires pour étudier comment le hasard de l'entraînement affecte plus de 30 biais cognitifs. Deuxièmement, nous introduisons le "cross-tuning" -- l'échange de jeux de données d'instruction entre les modèles pour isoler les sources de biais. Cet échange utilise des jeux de données ayant conduit à des motifs de biais différents, testant directement si les biais dépendent des jeux de données. Nos résultats révèlent que si le hasard de l'entraînement introduit une certaine variabilité, les biais sont principalement façonnés par le pré-entraînement : les modèles avec la même architecture pré-entraînée présentent des motifs de biais plus similaires que ceux partageant uniquement des données de fine-tuning. Ces insights suggèrent que la compréhension des biais dans les modèles ajustés nécessite de considérer leurs origines dans le pré-entraînement au-delà des effets du fine-tuning. Cette perspective peut guider les efforts futurs pour développer des stratégies méthodiques d'évaluation et de réduction des biais dans les LLM.

English

Large language models (LLMs) exhibit cognitive biases -- systematic tendencies of irrational decision-making, similar to those seen in humans. Prior work has found that these biases vary across models and can be amplified by instruction tuning. However, it remains unclear if these differences in biases stem from pretraining, finetuning, or even random noise due to training stochasticity. We propose a two-step causal experimental approach to disentangle these factors. First, we finetune models multiple times using different random seeds to study how training randomness affects over 30 cognitive biases. Second, we introduce cross-tuning -- swapping instruction datasets between models to isolate bias sources. This swap uses datasets that led to different bias patterns, directly testing whether biases are dataset-dependent. Our findings reveal that while training randomness introduces some variability, biases are mainly shaped by pretraining: models with the same pretrained backbone exhibit more similar bias patterns than those sharing only finetuning data. These insights suggest that understanding biases in finetuned models requires considering their pretraining origins beyond finetuning effects. This perspective can guide future efforts to develop principled strategies for evaluating and mitigating bias in LLMs.