Orion-MSP: Multi-Scale Sparse Attention für tabellarisches In-Context-Learning

Orion-MSP: Multi-Scale Sparse Attention for Tabular In-Context Learning

November 4, 2025

papers.authors: Mohamed Bouadi, Pratinav Seth, Aditya Tanna, Vinay Kumar Sankarapu

cs.AI

papers.abstract

Tabellendaten sind nach wie vor das vorherrschende Format für reale Anwendungen. Die Entwicklung effektiver neuronaler Modelle für tabellarische Daten bleibt jedoch aufgrund heterogener Merkmalstypen und komplexer Wechselwirkungen auf mehreren Skalen eine Herausforderung. Jüngste Fortschritte beim In-Context-Learning (ICL) für Tabellendaten, wie z.B. TabPFN und TabICL, haben eine state-of-the-art Leistung erzielt, die mit gradientenverstärkten Bäumen (GBTs) vergleichbar ist, ohne aufgabenspezifisches Fine-Tuning. Allerdings weisen aktuelle Architekturen wesentliche Einschränkungen auf: (1) Einzel-Skalen-Merkmalverarbeitung, die hierarchische Abhängigkeiten übersieht, (2) dichte Aufmerksamkeitsmechanismen mit quadratischer Skalierung in der Tabellenbreite und (3) streng sequentielle Komponentenverarbeitung, die iterative Repräsentationsverfeinerung und komponentenübergreifende Kommunikation verhindert. Um diese Herausforderungen zu adressieren, stellen wir Orion-MSP vor, eine tabellarische ICL-Architektur mit drei wichtigen Innovationen: (1) Multi-Skalen-Verarbeitung zur Erfassung hierarchischer Merkmalswechselwirkungen, (2) block-sparse Aufmerksamkeit, die fensterbasierte, globale und zufällige Muster für skalierbare Effizienz und Reichweitenkonnektivität kombiniert, und (3) einen Perceiver-artigen Speicher, der sichere bidirektionale Informationsflüsse zwischen Komponenten ermöglicht. In verschiedenen Benchmarks erreicht oder übertrifft Orion-MSP die state-of-the-art Leistung, skaliert effektiv auf hochdimensionale Tabellen und setzt damit einen neuen Standard für effizientes tabellarisches In-Context-Learning. Das Modell ist öffentlich verfügbar unter https://github.com/Lexsi-Labs/Orion-MSP.

English

Tabular data remain the predominant format for real-world applications. Yet, developing effective neural models for tabular data remains challenging due to heterogeneous feature types and complex interactions occurring at multiple scales. Recent advances in tabular in-context learning (ICL), such as TabPFN and TabICL, have achieved state-of-the-art performance comparable to gradient-boosted trees (GBTs) without task-specific fine-tuning. However, current architectures exhibit key limitations: (1) single-scale feature processing that overlooks hierarchical dependencies, (2) dense attention with quadratic scaling in table width, and (3) strictly sequential component processing that prevents iterative representation refinement and cross-component communication. To address these challenges, we introduce Orion-MSP, a tabular ICL architecture featuring three key innovations: (1) multi-scale processing to capture hierarchical feature interactions; (2) block-sparse attention combining windowed, global, and random patterns for scalable efficiency and long-range connectivity; and (3) a Perceiver-style memory enabling safe bidirectional information flow across components. Across diverse benchmarks, Orion-MSP matches or surpasses state-of-the-art performance while scaling effectively to high-dimensional tables, establishing a new standard for efficient tabular in-context learning. The model is publicly available at https://github.com/Lexsi-Labs/Orion-MSP .