系列モデルにおける「帰納バイアス」について

要旨

トランスフォーマーベースの言語モデルは実用上顕著な成功を収めているにもかかわらず、最近の研究では、それらの状態追跡能力に懸念が提起されている。特に、長さ外挿などの分布外汎化における失敗を通じて、この限界を指摘する研究が増えている。本研究では、これらの限界が分布内に与える影響に注目する。我々は、複数の教師あり学習体制において、トランスフォーマーとリカレントニューラルネットワーク（RNN）のデータ効率について大規模な実験的検討を行った。その結果、トランスフォーマーが必要とする訓練データ量は、状態空間のサイズや系列長の増加に伴って、RNNと比較してはるかに急速に増大することがわかった。さらに、学習された状態追跡メカニズムが異なる系列長間でどの程度共有されているかを分析する。トランスフォーマーは、系列長間での重み共有が無視できるか、むしろ有害でさえあることを示し、系列長に特化した解を個別に学習していることを明らかにする。対照的に、リカレントモデルは系列長を超えた重み共有による効果的な償却学習を示し、ある系列長のデータが他の系列長での性能向上に寄与する。これらの結果は、訓練分布と評価分布が一致する場合であっても、状態追跡がトランスフォーマーにとって依然として根本的な課題であることを示している。

English

Despite the remarkable practical success of transformer-based language models, recent work has raised concerns about their ability to perform state tracking. In particular, a growing body of literature has shown this limitation primarily through failures in out-of-distribution (OOD) generalization, such as length extrapolation. In this work, we shift attention to the in-distribution implications of these limitations. We conduct a large-scale experimental study of the data efficiency of transformers and recurrent neural networks (RNNs) across multiple supervision regimes. We find that the amount of training data required by transformers grows much more rapidly with state-space size and sequence length than for RNNs. Furthermore, we analyze the extent to which learned state-tracking mechanisms are shared across different sequence lengths. We show that transformers exhibit negligible or even detrimental weight sharing across lengths, indicating that they learn length-specific solutions in isolation. In contrast, recurrent models exhibit effective amortized learning by sharing weights across lengths, allowing data from one sequence length to improve performance on others. Together, these results demonstrate that state tracking remains a fundamental challenge for transformers, even when training and evaluation distributions match.

系列モデルにおける「帰納バイアス」について

On the "Induction Bias" in Sequence Models

要旨

Support