表形式予測におけるマルコフ境界の良い点、悪い点、そして醜い点

要旨

標準的なグラフィカルな仮定の下では、目的変数のマルコフ境界は、他のすべての特徴量を冗長にする最小の特徴量集合である。この境界が観測されれば、目的変数はテーブル内の残りの部分と条件付き独立になる。この性質は、モデルが必要とする列を正確に特定するため、表形式データの予測にとって魅力的な対象である。しかし、現代の回帰モデルは依然として全特徴量集合で学習されている。本研究では、SCM3K（40から1000の特徴量を持ち、6つのSCMファミリーからなる3,450タスクの合成SCMベンチマーク）において、6種類の回帰モデルを用いて評価した場合に、マルコフ境界が予測に真に有用であるかを問う。その答えは理論が示唆するよりも複雑である。回帰モデルを真のマルコフ境界に制限すると、予測が大幅に改善されることが多く、特徴空間が大きく疎になるほどその改善は大きくなる。しかし、因果発見によって境界を復元し、その復元されたマスク上で学習するという自然なパイプラインは、期待された成果をもたらさない。既存の推定手法は、境界が最も効果を発揮する領域に到達する前に計算予算を使い果たしてしまい、たとえ実行できたとしても、全特徴量集合を上回ることは滅多にない。我々はこの原因を3つに特定する。第一に、発見手法は予測ではなく構造復元を最適化している。第二に、偽陰性と偽陽性は予測コストに非対称な影響を及ぼす。第三に、正確な境界は、全特徴量を凌ぐ特徴量集合のうちの一つに過ぎない。そして、これらの事実が予測整合的な特徴選択と、因果構造を学習する表形式モデルに対して何を示唆するかを論じる。

English

Under standard graphical assumptions, the Markov boundary of a target variable is the smallest set of features that renders every other feature redundant. Once the boundary is observed, the target is conditionally independent of the rest of the table. This is a tempting object for tabular prediction, since it names exactly the columns a model should need. Yet modern regressors are still trained on the full feature set. We ask whether the Markov boundary is genuinely useful for prediction on SCM3K, a 3,450-task synthetic SCM benchmark with feature counts from 40 to 1000 and six SCM families, evaluated with six regressors. The answer is more nuanced than the theory suggests. Restricting a regressor to the oracle boundary often improves prediction substantially, and the improvement grows as the feature space becomes larger and sparser. But the natural pipeline of recovering the boundary with causal discovery and training on the recovered mask does not deliver. Existing estimators exhaust the compute budget before reaching the regime where the boundary helps most, and even where they run they rarely beat the full feature set. We trace this to three causes. Discovery optimizes structural recovery rather than prediction. False negatives and false positives carry sharply asymmetric predictive cost. The exact boundary is only one of many feature sets that beat all features. We then develop what these facts imply for prediction-aligned feature selection and for tabular models that learn to use causal structure.