Orion-MSP : Attention parcimonieuse multi-échelle pour l'apprentissage en contexte sur données tabulaires
Orion-MSP: Multi-Scale Sparse Attention for Tabular In-Context Learning
November 4, 2025
papers.authors: Mohamed Bouadi, Pratinav Seth, Aditya Tanna, Vinay Kumar Sankarapu
cs.AI
papers.abstract
Les données tabulaires restent le format dominant pour les applications réelles. Pourtant,
le développement de modèles neuronaux efficaces pour les données tabulaires reste difficile en raison
de types de caractéristiques hétérogènes et d'interactions complexes se produisant à multiples
échelles. Les récentes avancées en apprentissage en contexte (ICL) pour données tabulaires, comme TabPFN
et TabICL, ont atteint des performances à l'état de l'art comparables aux arbres à gradient boosting (GBTs)
sans fine-tuning spécifique à la tâche. Cependant, les architectures actuelles présentent des limitations majeures :
(1) un traitement des caractéristiques à échelle unique qui néglige les dépendances hiérarchiques,
(2) une attention dense avec une complexité quadratique en fonction de la largeur de la table, et
(3) un traitement séquentiel strict des composants qui empêche un raffinement itératif des représentations et
une communication inter-composants. Pour relever ces défis, nous présentons
Orion-MSP, une architecture ICL tabulaire comportant trois innovations clés :
(1) un traitement multi-échelle pour capturer les interactions hiérarchiques entre caractéristiques ;
(2) une attention bloc-sparse combinant des motifs fenêtrés, globaux et aléatoires pour une efficacité
évolutive et une connectivité à longue portée ; et (3) une mémoire de style Perceiver
permettant un flux d'information bidirectionnel sécurisé entre les composants. Sur divers benchmarks,
Orion-MSP égal ou dépasse les performances de l'état de l'art tout en étant efficacement évolutif
pour les tables à haute dimensionnalité, établissant une nouvelle référence pour l'apprentissage
en contexte tabulaire efficace. Le modèle est disponible publiquement à l'adresse https://github.com/Lexsi-Labs/Orion-MSP.
English
Tabular data remain the predominant format for real-world applications. Yet,
developing effective neural models for tabular data remains challenging due to
heterogeneous feature types and complex interactions occurring at multiple
scales. Recent advances in tabular in-context learning (ICL), such as TabPFN
and TabICL, have achieved state-of-the-art performance comparable to
gradient-boosted trees (GBTs) without task-specific fine-tuning. However,
current architectures exhibit key limitations: (1) single-scale feature
processing that overlooks hierarchical dependencies, (2) dense attention with
quadratic scaling in table width, and (3) strictly sequential component
processing that prevents iterative representation refinement and
cross-component communication. To address these challenges, we introduce
Orion-MSP, a tabular ICL architecture featuring three key innovations: (1)
multi-scale processing to capture hierarchical feature interactions; (2)
block-sparse attention combining windowed, global, and random patterns for
scalable efficiency and long-range connectivity; and (3) a Perceiver-style
memory enabling safe bidirectional information flow across components. Across
diverse benchmarks, Orion-MSP matches or surpasses state-of-the-art performance
while scaling effectively to high-dimensional tables, establishing a new
standard for efficient tabular in-context learning. The model is publicly
available at https://github.com/Lexsi-Labs/Orion-MSP .