Le Bon, la Brute et le Truand de la frontière de Markov pour la prédiction tabulaire

Résumé

Dans le cadre des hypothèses graphiques standard, la frontière de Markov d'une variable cible est le plus petit ensemble de caractéristiques qui rend chaque autre caractéristique redondante. Une fois cette frontière observée, la cible est conditionnellement indépendante du reste du tableau. Cet objet est séduisant pour la prédiction tabulaire, car il désigne exactement les colonnes dont un modèle devrait avoir besoin. Pourtant, les régresseurs modernes sont encore entraînés sur l'ensemble complet des caractéristiques. Nous nous demandons si la frontière de Markov est réellement utile pour la prédiction sur SCM3K, un benchmark synthétique de 3 450 tâches issues de modèles causaux structuraux (SCM) comprenant entre 40 et 1 000 caractéristiques et six familles de SCM, évalué avec six régresseurs. La réponse est plus nuancée que ne le suggère la théorie. Restreindre un régresseur à la frontière oracle améliore souvent considérablement la prédiction, et cette amélioration croît à mesure que l'espace des caractéristiques devient plus vaste et plus épars. Mais la procédure naturelle consistant à retrouver la frontière par découverte causale, puis à entraîner le modèle sur le masque ainsi obtenu, n'est pas concluante. Les estimateurs existants épuisent le budget de calcul avant d'atteindre le régime où la frontière est la plus utile, et même lorsqu'ils y parviennent, ils surpassent rarement l'ensemble complet des caractéristiques. Nous attribuons cela à trois causes. La découverte optimise la récupération structurelle plutôt que la prédiction. Les faux négatifs et les faux positifs ont un coût prédictif fortement asymétrique. La frontière exacte n'est qu'un des nombreux ensembles de caractéristiques qui battent l'ensemble complet. Nous développons ensuite ce que ces faits impliquent pour la sélection de caractéristiques alignée sur la prédiction et pour les modèles tabulaires qui apprennent à utiliser la structure causale.

English

Under standard graphical assumptions, the Markov boundary of a target variable is the smallest set of features that renders every other feature redundant. Once the boundary is observed, the target is conditionally independent of the rest of the table. This is a tempting object for tabular prediction, since it names exactly the columns a model should need. Yet modern regressors are still trained on the full feature set. We ask whether the Markov boundary is genuinely useful for prediction on SCM3K, a 3,450-task synthetic SCM benchmark with feature counts from 40 to 1000 and six SCM families, evaluated with six regressors. The answer is more nuanced than the theory suggests. Restricting a regressor to the oracle boundary often improves prediction substantially, and the improvement grows as the feature space becomes larger and sparser. But the natural pipeline of recovering the boundary with causal discovery and training on the recovered mask does not deliver. Existing estimators exhaust the compute budget before reaching the regime where the boundary helps most, and even where they run they rarely beat the full feature set. We trace this to three causes. Discovery optimizes structural recovery rather than prediction. False negatives and false positives carry sharply asymmetric predictive cost. The exact boundary is only one of many feature sets that beat all features. We then develop what these facts imply for prediction-aligned feature selection and for tabular models that learn to use causal structure.