시계열 인과관계 발견을 위한 대규모 인과 모델

초록

횡단면 및 시계열 데이터에 대한 인과관계 발견은 전통적으로 데이터셋별 패러다임을 따라왔으며, 각 개별 데이터셋에 대해 새로운 모델을 적합하는 방식이었습니다. 이러한 접근법은 다중 데이터셋 사전 훈련의 잠재력을 제한합니다. 대규모 인과 모델(LCM) 개념은 시계열 인과관계 발견을 위해 특별히 설계된 사전 훈련된 신경망 구조 클래스를 구상합니다. 기존 접근법은 적은 변수 개수에 국한되고, 더 큰 입력에서는 성능이 저하되며, 합성 데이터에 크게 의존하여 일반화를 제한합니다. 우리는 다양한 합성 생성기와 현실적인 시계열 데이터셋을 결합하여 대규모 학습을 가능하게 하는 LCM을 위한 원칙적인 프레임워크를 제안합니다. 합성, 준합성 및 현실적 벤치마크에 대한 광범위한 실험 결과, LCM은 강력한 성능을 유지하면서 더 많은 변수 개수와 더 깊은 구조로 효과적으로 확장됨을 보여줍니다. 훈련된 모델은 특히 분포 외 설정에서 기존 및 신경망 기준선 대비 경쟁력 있거나 우수한 정확도를 달성하면서 빠른 단일 패스 추론을 가능하게 합니다. 결과는 LCM이 시계열 인과관계 발견을 위한 유망한 파운데이션 모델 패러다임임을 입증합니다. 실험 내용과 모델 가중치는 https://github.com/kougioulis/LCM-paper/에서 확인할 수 있습니다.

English

Causal discovery for both cross-sectional and temporal data has traditionally followed a dataset-specific paradigm, where a new model is fitted for each individual dataset. Such an approach limits the potential of multi-dataset pretraining. The concept of large causal models (LCMs) envisions a class of pre-trained neural architectures specifically designed for temporal causal discovery. Prior approaches are constrained to small variable counts, degrade with larger inputs, and rely heavily on synthetic data, limiting generalization. We propose a principled framework for LCMs, combining diverse synthetic generators with realistic time-series datasets, allowing learning at scale. Extensive experiments on synthetic, semi-synthetic and realistic benchmarks show that LCMs scale effectively to higher variable counts and deeper architectures while maintaining strong performance. Trained models achieve competitive or superior accuracy compared to classical and neural baselines, particularly in out-of-distribution settings, while enabling fast, single-pass inference. Results demonstrate LCMs as a promising foundation-model paradigm for temporal causal discovery. Experiments and model weights are available at https://github.com/kougioulis/LCM-paper/.

시계열 인과관계 발견을 위한 대규모 인과 모델

Large Causal Models for Temporal Causal Discovery

초록

Support