時間的因果発見のための大規模因果モデル

要旨

従来、横断データおよび時系列データの因果発見は、個々のデータセットごとに新たなモデルを構築するデータセット特化型のパラダイムに従ってきた。このようなアプローチは、複数データセットを用いた事前学習の可能性を制限している。大規模因果モデル（LCM）の概念は、時系列因果発見に特化して設計された事前学習済みニューラルネットワークアーキテクチャのクラスを提唱する。従来手法は変数の数が少ない場合に限定され、入力サイズが大きくなると性能が劣化し、合成データへの依存度が高いため一般化が困難である。本研究では、多様な合成データ生成器と現実的な時系列データセットを組み合わせたLCMの原則的フレームワークを提案し、大規模学習を可能にする。合成、半合成、現実的なベンチマークを用いた広範な実験により、LCMが変数の数が多く深いアーキテクチャにおいても強固な性能を維持しつつ効果的にスケールすることを示す。学習済みモデルは、従来手法やニューラルネットワークベースラインと比較して、特に分布外設定において競争力のある精度、あるいはそれを上回る精度を達成し、高速な単一パス推論を実現する。結果は、LCMが時系列因果発見のための有望な基盤モデルパラダイムであることを示唆している。実験結果とモデル重みはhttps://github.com/kougioulis/LCM-paper/で公開されている。

English

Causal discovery for both cross-sectional and temporal data has traditionally followed a dataset-specific paradigm, where a new model is fitted for each individual dataset. Such an approach limits the potential of multi-dataset pretraining. The concept of large causal models (LCMs) envisions a class of pre-trained neural architectures specifically designed for temporal causal discovery. Prior approaches are constrained to small variable counts, degrade with larger inputs, and rely heavily on synthetic data, limiting generalization. We propose a principled framework for LCMs, combining diverse synthetic generators with realistic time-series datasets, allowing learning at scale. Extensive experiments on synthetic, semi-synthetic and realistic benchmarks show that LCMs scale effectively to higher variable counts and deeper architectures while maintaining strong performance. Trained models achieve competitive or superior accuracy compared to classical and neural baselines, particularly in out-of-distribution settings, while enabling fast, single-pass inference. Results demonstrate LCMs as a promising foundation-model paradigm for temporal causal discovery. Experiments and model weights are available at https://github.com/kougioulis/LCM-paper/.

時間的因果発見のための大規模因果モデル

Large Causal Models for Temporal Causal Discovery

要旨

Support