UNMASK: テキスト分類器におけるスプリアスショートカットの発見と因果的検証

要旨

大規模なクラウドソーシングによるコーパスで訓練されたニューラル言語モデルは、真の言語的・因果的関連性を持たない、ターゲットラベルに結びついた見せかけの表層パターンを頻繁に利用し、ベンチマーク性能を押し上げる一方、敵対的入力や分布外入力に対しては失敗する。既存手法は、特徴語彙の手動指定を必要とするか、発見の自動化が部分的にしか行われておらず、データセットレベルの相関とモデルレベルの利用との間のギャップを未解決のまま残している。我々は、追加の人手アノテーションなしでテキスト分類器における疑似相関を発見し、因果的に検証し、軽減する完全自動化パイプラインであるUNMASKを提案する。ラベルなし学習例が与えられると、UNMASKは実行可能なブール式として候補表層パターンを生成し、独立した反復を伴う統計的検証プロトコルでフィルタリングし、検証された反事実的介入を通じて因果的なモデル依存性を確立する。因果的に確認された特徴は、Deep Feature Reweighting（DFR）のためのアノテーション不要のグループ定義として機能し、標準DFRが必要とするグループラベルを不要にする。MNLIで訓練されたBERTとRoBERTaに適用したところ、本パイプラインは既知の語彙重複バイアスと否定バイアスを独立に再発見し、BERTでは10個中9個、RoBERTaでは6個の特徴を検証し、HANSの精度を最大12.58パーセントポイント向上させた。CivilComments-WILDSでは、プログラム的に定義されたグループが、人口統計アノテーションなしで、人手ラベル付きDFR（Kirichenko et al., 2023）の最悪グループ精度70.1%に一致した。さらに、発見段階と検証段階が報酬モデルの選好データに一般化し、RewardBench2において解釈可能な疑似相関を浮き彫りにすることを実証する。

English

Neural language models trained on large crowdsourced corpora frequently exploit spurious surface patterns tied to target labels without true linguistic or causal relevance, boosting benchmark performance while failing on adversarial or out-of-distribution inputs. Existing approaches either require manual specification of the feature vocabulary or automate discovery only partially, leaving the gap between dataset-level correlation and model-level exploitation unaddressed. We present U N M ASK, a fully automated pipeline that discovers, causally verifies, and mitigates spurious correlations in text classifiers without additional human annotation. Given unlabeled training examples, U N M ASK generates candidate surface patterns as executable boolean expressions, filters them through a statistical validation protocol with independent replication, and establishes causal model dependence via verified counterfactual interventions. Causally confirmed features then serve as annotation-free group definitions for Deep Feature Reweighting, eliminating the group labels that standard DFR requires. Applied to BERT and RoBERTa trained on MNLI, our pipeline independently rediscovers established lexical-overlap and negation biases, verifying 9 of 10 features on BERT and 6 on RoBERTa, and improving HANS accuracy by up to 12.58 pp. On CivilComments-WILDS, programmatic groups match the 70.1% worst- group accuracy of hand-labeled DFR (Kirichenko et al., 2023) without demographic annotation. We further demonstrate that the discovery and validation stages generalize to reward model preference data, surfacing interpretable spurious correlations in RewardBench2.