Хорошее, плохое и уродливое в границе Маркова для табличного прогнозирования

Аннотация

В рамках стандартных графических предположений граница Маркова для целевой переменной представляет собой минимальный набор признаков, который делает все остальные признаки избыточными. После наблюдения этой границы целевая переменная становится условно независимой от остальной части таблицы. Это делает границу Маркова привлекательным объектом для табличного прогнозирования, поскольку она указывает именно те столбцы, которые необходимы модели. Тем не менее, современные регрессоры по-прежнему обучаются на полном наборе признаков. Мы задаемся вопросом, действительно ли граница Маркова полезна для прогнозирования на SCM3K — синтетическом тесте SCM, содержащем 3450 задач с количеством признаков от 40 до 1000 и шестью семействами SCM, при оценке с помощью шести регрессоров. Ответ оказывается более тонким, чем следует из теории. Ограничение регрессора эталонной границей часто существенно улучшает прогнозирование, и это улучшение возрастает по мере того, как пространство признаков становится больше и разреженнее. Однако естественный конвейер, состоящий в восстановлении границы с помощью выявления причинно-следственных связей и обучении на восстановленной маске, не дает ожидаемых результатов. Существующие оценщики исчерпывают вычислительный бюджет, не достигая режима, в котором граница наиболее полезна, и даже там, где они работают, они редко превосходят полный набор признаков. Мы связываем это с тремя причинами. Выявление оптимизирует структурное восстановление, а не прогнозирование. Ложноотрицательные и ложноположительные результаты несут резко асимметричную прогностическую стоимость. Точная граница является лишь одним из множества наборов признаков, превосходящих все признаки. Затем мы выводим следствия этих фактов для ориентированного на прогнозирование отбора признаков и для табличных моделей, которые обучаются использовать причинно-следственную структуру.

English

Under standard graphical assumptions, the Markov boundary of a target variable is the smallest set of features that renders every other feature redundant. Once the boundary is observed, the target is conditionally independent of the rest of the table. This is a tempting object for tabular prediction, since it names exactly the columns a model should need. Yet modern regressors are still trained on the full feature set. We ask whether the Markov boundary is genuinely useful for prediction on SCM3K, a 3,450-task synthetic SCM benchmark with feature counts from 40 to 1000 and six SCM families, evaluated with six regressors. The answer is more nuanced than the theory suggests. Restricting a regressor to the oracle boundary often improves prediction substantially, and the improvement grows as the feature space becomes larger and sparser. But the natural pipeline of recovering the boundary with causal discovery and training on the recovered mask does not deliver. Existing estimators exhaust the compute budget before reaching the regime where the boundary helps most, and even where they run they rarely beat the full feature set. We trace this to three causes. Discovery optimizes structural recovery rather than prediction. False negatives and false positives carry sharply asymmetric predictive cost. The exact boundary is only one of many feature sets that beat all features. We then develop what these facts imply for prediction-aligned feature selection and for tabular models that learn to use causal structure.