인과적 기초 모델

초록

인과 추론은 데이터로부터 처치 또는 개입의 효과를 추정하는 작업이다. 전통적으로 인과 추론은 새로운 문제가 생길 때마다 맞춤형 파이프라인을 요구했다. 먼저 인과 메커니즘을 제안하고, 그에 적합한 추정량을 선택한 다음, 마지막으로 이를 훈련해야 했다. 한편, 다양한 환경과 모달리티에 걸쳐 머신러닝의 상당 부분은 파운데이션 모델 패러다임으로 전환되었다. 이는 대규모로 한 번 사전 훈련된 신경망을 미세 조정 없이 새로운 작업에 적용하는 방식이다. 인과 파운데이션 모델(CFM)은 이러한 패러다임을 인과 추론에 도입한다. CFM은 사전 훈련된 신경망으로, 모델 업데이트를 요구하지 않고 맥락 내 학습을 통해 전혀 새로운 데이터셋에서 평균 처치 효과와 같은 인과적 양을 추정한다. 본고는 이 신흥 분야에 대한 실용적인 입문을 제공한다. CFM을 논의하기에 앞서 인과 추론과 머신러닝에 필요한 배경 지식을 요약하며, 본문 전반에 걸쳐 예제 코드와 주피터 노트북을 포함한다.

English

Causal inference is the practice of estimating the effect of a treatment or intervention from data. It traditionally requires a bespoke pipeline for every new problem: first proposing a causal mechanism, selecting a compatible estimator, and finally training it. Meanwhile, across diverse settings and modalities, much of machine learning has shifted to the paradigm of foundation models: networks pretrained once at scale and applied to new tasks without fine-tuning. Causal foundation models (CFMs) bring this paradigm to causal inference. CFMs are pretrained neural networks that estimate causal quantities, such as the average treatment effect, on entirely new datasets using in-context learning without requiring model updates. This work provides a practical introduction to this emerging area. We summarize the necessary background in causal inference and machine learning before discussing CFMs. Throughout, we include example code and Jupyter notebooks.