Orion-MSP: Attenzione Sparsa Multi-Scala per l'Apprendimento In-Contesto su Dati Tabulari

Orion-MSP: Multi-Scale Sparse Attention for Tabular In-Context Learning

November 4, 2025

Autori: Mohamed Bouadi, Pratinav Seth, Aditya Tanna, Vinay Kumar Sankarapu

cs.AI

Abstract

I dati tabellari rimangono il formato predominante per le applicazioni del mondo reale. Tuttavia, lo sviluppo di modelli neurali efficaci per dati tabellari rimane impegnativo a causa della presenza di tipi di feature eterogenei e di interazioni complesse che si verificano a scale multiple. I recenti progressi nell'apprendimento in-context per dati tabellari (ICL), come TabPFN e TabICL, hanno ottenuto prestazioni allo stato dell'arte paragonabili agli alberi con gradient boosting (GBT) senza una messa a punto specifica per il compito. Tuttavia, le architetture attuali presentano limitazioni chiave: (1) elaborazione delle feature a scala singola che trascura le dipendenze gerarchiche, (2) attenzione densa con scalabilità quadratica nella larghezza della tabella e (3) elaborazione sequenziale stretta dei componenti che impedisce un raffinamento iterativo della rappresentazione e una comunicazione cross-componente. Per affrontare queste sfide, introduciamo Orion-MSP, un'architettura ICL tabellare che presenta tre innovazioni chiave: (1) elaborazione multi-scala per catturare le interazioni gerarchiche tra le feature; (2) attenzione blocco-sparsa che combina pattern finestrati, globali e casuali per efficienza scalabile e connettività a lungo raggio; e (3) una memoria in stile Perceiver che abilita un flusso bidirezionale sicuro delle informazioni tra i componenti. In vari benchmark, Orion-MSP eguaglia o supera le prestazioni allo stato dell'arte scalando efficacemente verso tabelle ad alta dimensionalità, stabilendo un nuovo standard per l'apprendimento in-context tabellare efficiente. Il modello è pubblicamente disponibile all'indirizzo https://github.com/Lexsi-Labs/Orion-MSP.

English

Tabular data remain the predominant format for real-world applications. Yet, developing effective neural models for tabular data remains challenging due to heterogeneous feature types and complex interactions occurring at multiple scales. Recent advances in tabular in-context learning (ICL), such as TabPFN and TabICL, have achieved state-of-the-art performance comparable to gradient-boosted trees (GBTs) without task-specific fine-tuning. However, current architectures exhibit key limitations: (1) single-scale feature processing that overlooks hierarchical dependencies, (2) dense attention with quadratic scaling in table width, and (3) strictly sequential component processing that prevents iterative representation refinement and cross-component communication. To address these challenges, we introduce Orion-MSP, a tabular ICL architecture featuring three key innovations: (1) multi-scale processing to capture hierarchical feature interactions; (2) block-sparse attention combining windowed, global, and random patterns for scalable efficiency and long-range connectivity; and (3) a Perceiver-style memory enabling safe bidirectional information flow across components. Across diverse benchmarks, Orion-MSP matches or surpasses state-of-the-art performance while scaling effectively to high-dimensional tables, establishing a new standard for efficient tabular in-context learning. The model is publicly available at https://github.com/Lexsi-Labs/Orion-MSP .