Orion-MSP: Atenção Esparsa Multiescala para Aprendizado In-Contextual em Dados Tabulares

Orion-MSP: Multi-Scale Sparse Attention for Tabular In-Context Learning

November 4, 2025

Autores: Mohamed Bouadi, Pratinav Seth, Aditya Tanna, Vinay Kumar Sankarapu

cs.AI

Resumo

Os dados tabulares continuam a ser o formato predominante em aplicações do mundo real. No entanto, o desenvolvimento de modelos neurais eficazes para dados tabulares permanece um desafio devido a tipos de características heterogéneas e interações complexas que ocorrem em múltiplas escalas. Avanços recentes na aprendizagem in-contextual (ICL) para dados tabulares, como o TabPFN e o TabICL, alcançaram um desempenho de ponta comparável a árvores impulsionadas por gradiente (GBTs) sem afinação específica para cada tarefa. Contudo, as arquiteturas atuais apresentam limitações fundamentais: (1) processamento de características em escala única que ignora dependências hierárquicas, (2) atenção densa com escalabilidade quadrática na largura da tabela, e (3) processamento de componentes estritamente sequencial que impede o refinamento iterativo de representações e a comunicação entre componentes. Para enfrentar estes desafios, introduzimos a Orion-MSP, uma arquitetura de ICL tabular que apresenta três inovações principais: (1) processamento multi-escala para capturar interações hierárquicas de características; (2) atenção esparsa por blocos que combina padrões de janela, globais e aleatórios para eficiência escalável e conectividade de longo alcance; e (3) uma memória no estilo Perceiver que permite um fluxo de informação bidirecional seguro entre componentes. Em diversos benchmarks, a Orion-MSP iguala ou supera o desempenho do estado da arte, escalando eficazmente para tabelas de alta dimensionalidade e estabelecendo um novo padrão para a aprendizagem in-contextual tabular eficiente. O modelo está publicamente disponível em https://github.com/Lexsi-Labs/Orion-MSP.

English

Tabular data remain the predominant format for real-world applications. Yet, developing effective neural models for tabular data remains challenging due to heterogeneous feature types and complex interactions occurring at multiple scales. Recent advances in tabular in-context learning (ICL), such as TabPFN and TabICL, have achieved state-of-the-art performance comparable to gradient-boosted trees (GBTs) without task-specific fine-tuning. However, current architectures exhibit key limitations: (1) single-scale feature processing that overlooks hierarchical dependencies, (2) dense attention with quadratic scaling in table width, and (3) strictly sequential component processing that prevents iterative representation refinement and cross-component communication. To address these challenges, we introduce Orion-MSP, a tabular ICL architecture featuring three key innovations: (1) multi-scale processing to capture hierarchical feature interactions; (2) block-sparse attention combining windowed, global, and random patterns for scalable efficiency and long-range connectivity; and (3) a Perceiver-style memory enabling safe bidirectional information flow across components. Across diverse benchmarks, Orion-MSP matches or surpasses state-of-the-art performance while scaling effectively to high-dimensional tables, establishing a new standard for efficient tabular in-context learning. The model is publicly available at https://github.com/Lexsi-Labs/Orion-MSP .