Orion-MSP: Многомасштабное разреженное внимание для табличного обучения в контексте

Orion-MSP: Multi-Scale Sparse Attention for Tabular In-Context Learning

November 4, 2025

Авторы: Mohamed Bouadi, Pratinav Seth, Aditya Tanna, Vinay Kumar Sankarapu

cs.AI

Аннотация

Табличные данные остаются преобладающим форматом для реальных приложений. Однако разработка эффективных нейросетевых моделей для табличных данных остается сложной задачей из-за неоднородных типов признаков и сложных взаимодействий, происходящих на множественных масштабах. Недавние достижения в области контекстного обучения (ICL) для табличных данных, такие как TabPFN и TabICL, позволили достичь производительности на уровне современных методов, сравнимой с градиентным бустингом деревьев (GBT), без специфичной для задачи тонкой настройки. Однако современные архитектуры обладают ключевыми ограничениями: (1) одномасштабная обработка признаков, игнорирующая иерархические зависимости; (2) плотные механизмы внимания с квадратичным ростом вычислительной сложности от ширины таблицы; и (3) строго последовательная обработка компонентов, препятствующая итеративному уточнению представлений и межкомпонентному взаимодействию. Для решения этих проблем мы представляем Orion-MSP — архитектуру для табличного ICL, включающую три ключевых нововведения: (1) многомасштабную обработку для захвата иерархических взаимодействий признаков; (2) блочно-разреженное внимание, сочетающее оконные, глобальные и случайные паттерны для масштабируемой эффективности и связности на больших расстояниях; и (3) память в стиле Perceiver, обеспечивающую безопасный двунаправленный поток информации между компонентами. На различных бенчмарках Orion-MSP демонстрирует производительность на уровне или выше современных аналогов, эффективно масштабируясь для высокоразмерных таблиц, и устанавливает новый стандарт эффективного контекстного обучения для табличных данных. Модель общедоступна по адресу https://github.com/Lexsi-Labs/Orion-MSP.

English

Tabular data remain the predominant format for real-world applications. Yet, developing effective neural models for tabular data remains challenging due to heterogeneous feature types and complex interactions occurring at multiple scales. Recent advances in tabular in-context learning (ICL), such as TabPFN and TabICL, have achieved state-of-the-art performance comparable to gradient-boosted trees (GBTs) without task-specific fine-tuning. However, current architectures exhibit key limitations: (1) single-scale feature processing that overlooks hierarchical dependencies, (2) dense attention with quadratic scaling in table width, and (3) strictly sequential component processing that prevents iterative representation refinement and cross-component communication. To address these challenges, we introduce Orion-MSP, a tabular ICL architecture featuring three key innovations: (1) multi-scale processing to capture hierarchical feature interactions; (2) block-sparse attention combining windowed, global, and random patterns for scalable efficiency and long-range connectivity; and (3) a Perceiver-style memory enabling safe bidirectional information flow across components. Across diverse benchmarks, Orion-MSP matches or surpasses state-of-the-art performance while scaling effectively to high-dimensional tables, establishing a new standard for efficient tabular in-context learning. The model is publicly available at https://github.com/Lexsi-Labs/Orion-MSP .