O Bom, o Mau e o Feio da Fronteira de Markov para Predição Tabular

Resumo

Sob pressupostos gráficos padrão, a fronteira de Markov (Markov boundary) de uma variável alvo é o menor conjunto de características que torna todas as demais características redundantes. Uma vez observada essa fronteira, o alvo é condicionalmente independente do restante da tabela. Esse objeto é tentador para predição tabular, pois nomeia exatamente as colunas que um modelo deveria utilizar. No entanto, regressores modernos ainda são treinados com o conjunto completo de características. Investigamos se a fronteira de Markov é genuinamente útil para predição no SCM3K, um benchmark sintético de 3.450 tarefas baseado em modelos causais estruturais (SCM), com contagens de características variando de 40 a 1000 e seis famílias de SCM, avaliado com seis regressores. A resposta é mais matizada do que a teoria sugere. Restringir um regressor à fronteira ideal (oracle boundary) frequentemente melhora substancialmente a predição, e a melhoria cresce à medida que o espaço de características se torna maior e mais esparso. No entanto, o pipeline natural de recuperar a fronteira por meio de descoberta causal e treinar com a máscara recuperada não se concretiza. Os estimadores existentes esgotam o orçamento computacional antes de atingir o regime onde a fronteira mais ajuda, e mesmo quando funcionam, raramente superam o conjunto completo de características. Atribuímos isso a três causas. A descoberta otimiza a recuperação estrutural, não a predição. Falsos negativos e falsos positivos apresentam custo preditivo fortemente assimétrico. A fronteira exata é apenas um dos muitos conjuntos de características que superam todas as características. Em seguida, desenvolvemos as implicações desses fatos para a seleção de características alinhada à predição e para modelos tabulares que aprendem a usar a estrutura causal.

English

Under standard graphical assumptions, the Markov boundary of a target variable is the smallest set of features that renders every other feature redundant. Once the boundary is observed, the target is conditionally independent of the rest of the table. This is a tempting object for tabular prediction, since it names exactly the columns a model should need. Yet modern regressors are still trained on the full feature set. We ask whether the Markov boundary is genuinely useful for prediction on SCM3K, a 3,450-task synthetic SCM benchmark with feature counts from 40 to 1000 and six SCM families, evaluated with six regressors. The answer is more nuanced than the theory suggests. Restricting a regressor to the oracle boundary often improves prediction substantially, and the improvement grows as the feature space becomes larger and sparser. But the natural pipeline of recovering the boundary with causal discovery and training on the recovered mask does not deliver. Existing estimators exhaust the compute budget before reaching the regime where the boundary helps most, and even where they run they rarely beat the full feature set. We trace this to three causes. Discovery optimizes structural recovery rather than prediction. False negatives and false positives carry sharply asymmetric predictive cost. The exact boundary is only one of many feature sets that beat all features. We then develop what these facts imply for prediction-aligned feature selection and for tabular models that learn to use causal structure.