因果基盤モデル

要旨

因果推論とは、データから処置または介入の効果を推定する実践である。従来の因果推論では、新しい問題ごとに専用のパイプラインが必要とされてきた。すなわち、まず因果メカニズムを提案し、それに適合する推定量を選択し、最後にそれを学習するという手順である。その一方で、機械学習の多くは、多様な設定やモダリティを横断して、基盤モデルというパラダイムへと移行している。基盤モデルとは、一度大規模に事前学習されたネットワークであり、ファインチューニングなしで新しいタスクに適用されるものである。因果基盤モデル（CFM）は、このパラダイムを因果推論にもたらす。CFMは事前学習済みのニューラルネットワークであり、平均処置効果などの因果量を、モデルの更新を必要とせずに、インコンテキスト学習を用いてまったく新しいデータセット上で推定する。本稿は、この新興分野への実践的な入門を提供するものである。CFMを議論する前に、因果推論と機械学習に必要な背景知識を整理する。また、本稿全体を通して、サンプルコードとJupyterノートブックを掲載する。

English

Causal inference is the practice of estimating the effect of a treatment or intervention from data. It traditionally requires a bespoke pipeline for every new problem: first proposing a causal mechanism, selecting a compatible estimator, and finally training it. Meanwhile, across diverse settings and modalities, much of machine learning has shifted to the paradigm of foundation models: networks pretrained once at scale and applied to new tasks without fine-tuning. Causal foundation models (CFMs) bring this paradigm to causal inference. CFMs are pretrained neural networks that estimate causal quantities, such as the average treatment effect, on entirely new datasets using in-context learning without requiring model updates. This work provides a practical introduction to this emerging area. We summarize the necessary background in causal inference and machine learning before discussing CFMs. Throughout, we include example code and Jupyter notebooks.