프리트레이닝에 심어지고 파인튜닝에 흔들리다: 대형 언어 모델의 인지 편향 기원에 대한 사례 연구

Planted in Pretraining, Swayed by Finetuning: A Case Study on the Origins of Cognitive Biases in LLMs

July 9, 2025

저자: Itay Itzhak, Yonatan Belinkov, Gabriel Stanovsky

cs.AI

초록

대형 언어 모델(LLMs)은 인간에서 관찰되는 것과 유사한 비합리적 의사결정의 체계적 경향인 인지 편향을 보인다. 선행 연구는 이러한 편향이 모델에 따라 다양하며, 지시 튜닝에 의해 증폭될 수 있음을 발견했다. 그러나 이러한 편향의 차이가 사전 학습, 미세 조정, 또는 훈련의 확률적 특성으로 인한 무작위 노이즈에서 비롯되는지 여부는 여전히 불분명하다. 우리는 이러한 요인들을 분리하기 위해 두 단계의 인과적 실험적 접근법을 제안한다. 첫째, 서로 다른 무작위 시드를 사용하여 모델을 여러 번 미세 조정하여 훈련의 무작위성이 30개 이상의 인지 편향에 미치는 영향을 연구한다. 둘째, 교차 튜닝을 도입하여 모델 간에 지시 데이터셋을 교환함으로써 편향의 원인을 분리한다. 이 교환은 서로 다른 편향 패턴을 초래한 데이터셋을 사용하여 편향이 데이터셋에 의존적인지 여부를 직접 테스트한다. 우리의 연구 결과는 훈련의 무작위성이 일부 변동성을 초래하지만, 편향은 주로 사전 학습에 의해 형성됨을 보여준다: 동일한 사전 학습된 백본을 가진 모델들은 단지 미세 조정 데이터만을 공유하는 모델들보다 더 유사한 편향 패턴을 보인다. 이러한 통찰은 미세 조정된 모델의 편향을 이해하기 위해서는 미세 조정 효과를 넘어 사전 학습의 기원을 고려해야 함을 시사한다. 이러한 관점은 LLM의 편향을 평가하고 완화하기 위한 원칙적 전략을 개발하는 미래의 노력에 지침을 제공할 수 있다.

English

Large language models (LLMs) exhibit cognitive biases -- systematic tendencies of irrational decision-making, similar to those seen in humans. Prior work has found that these biases vary across models and can be amplified by instruction tuning. However, it remains unclear if these differences in biases stem from pretraining, finetuning, or even random noise due to training stochasticity. We propose a two-step causal experimental approach to disentangle these factors. First, we finetune models multiple times using different random seeds to study how training randomness affects over 30 cognitive biases. Second, we introduce cross-tuning -- swapping instruction datasets between models to isolate bias sources. This swap uses datasets that led to different bias patterns, directly testing whether biases are dataset-dependent. Our findings reveal that while training randomness introduces some variability, biases are mainly shaped by pretraining: models with the same pretrained backbone exhibit more similar bias patterns than those sharing only finetuning data. These insights suggest that understanding biases in finetuned models requires considering their pretraining origins beyond finetuning effects. This perspective can guide future efforts to develop principled strategies for evaluating and mitigating bias in LLMs.