Der Gute, der Böse und der Hässliche der Markov-Boundary für tabellarische Vorhersage

Zusammenfassung

Unter standardmäßigen graphentheoretischen Annahmen ist die Markov-Grenze einer Zielvariablen die kleinste Menge von Merkmalen, die jedes andere Merkmal redundant macht. Sobald die Grenze beobachtet wird, ist die Zielvariable bedingt unabhängig vom Rest der Tabelle. Dies ist ein verlockendes Objekt für die tabellarische Vorhersage, da es genau die Spalten benennt, die ein Modell benötigen sollte. Dennoch werden moderne Regressoren weiterhin auf der vollständigen Merkmalsmenge trainiert. Wir untersuchen, ob die Markov-Grenze für die Vorhersage auf SCM3K, einem synthetischen SCM-Benchmark mit 3.450 Aufgaben, Merkmalsanzahlen von 40 bis 1000 und sechs SCM-Familien, die mit sechs Regressoren evaluiert werden, tatsächlich nützlich ist. Die Antwort ist nuancierter, als die Theorie vermuten lässt. Die Beschränkung eines Regressors auf die Orakel-Grenze verbessert die Vorhersage oft erheblich, und die Verbesserung wächst, je größer und spärlicher der Merkmalsraum wird. Die natürliche Vorgehensweise – die Wiederherstellung der Grenze durch Kausalerkennung und das Training auf der wiederhergestellten Maske – liefert jedoch keine Ergebnisse. Vorhandene Schätzer erschöpfen das Rechenbudget, bevor sie den Bereich erreichen, in dem die Grenze am meisten hilft, und selbst dort, wo sie laufen, übertreffen sie selten die vollständige Merkmalsmenge. Wir führen dies auf drei Ursachen zurück: Die Erkennung optimiert die strukturelle Wiederherstellung und nicht die Vorhersage. Falsch Negative und falsch Positive haben stark asymmetrische Vorhersagekosten. Die exakte Grenze ist nur eine von vielen Merkmalsmengen, die alle Merkmale übertreffen. Anschließend entwickeln wir, was diese Fakten für vorhersageorientierte Merkmalsauswahl und für tabellarische Modelle bedeuten, die lernen, kausale Strukturen zu nutzen.

English

Under standard graphical assumptions, the Markov boundary of a target variable is the smallest set of features that renders every other feature redundant. Once the boundary is observed, the target is conditionally independent of the rest of the table. This is a tempting object for tabular prediction, since it names exactly the columns a model should need. Yet modern regressors are still trained on the full feature set. We ask whether the Markov boundary is genuinely useful for prediction on SCM3K, a 3,450-task synthetic SCM benchmark with feature counts from 40 to 1000 and six SCM families, evaluated with six regressors. The answer is more nuanced than the theory suggests. Restricting a regressor to the oracle boundary often improves prediction substantially, and the improvement grows as the feature space becomes larger and sparser. But the natural pipeline of recovering the boundary with causal discovery and training on the recovered mask does not deliver. Existing estimators exhaust the compute budget before reaching the regime where the boundary helps most, and even where they run they rarely beat the full feature set. We trace this to three causes. Discovery optimizes structural recovery rather than prediction. False negatives and false positives carry sharply asymmetric predictive cost. The exact boundary is only one of many feature sets that beat all features. We then develop what these facts imply for prediction-aligned feature selection and for tabular models that learn to use causal structure.