От деревьев к потокам и обратно: объединение деревьев решений и диффузионных моделей
Trees to Flows and Back: Unifying Decision Trees and Diffusion Models
May 1, 2026
Авторы: Sai Niranjan Ramachandran, Suvrit Sra
cs.AI
Аннотация
Деревья решений и диффузионные модели представляют собой, на первый взгляд, совершенно различные классы моделей: первые дискретны и иерархичны, вторые — непрерывны и динамичны. В данной работе мы объединяем эти два подхода, устанавливая чёткое математическое соответствие между иерархическими деревьями решений и процессами диффузии в соответствующих предельных режимах. Наше объединение раскрывает общий принцип оптимизации — согласование глобальных траекторий (Global Trajectory Score Matching, GTSM), для которого градиентный бустинг (в идеализированной версии) является асимптотически оптимальным. Мы подчеркиваем концептуальную ценность нашей работы на двух ключевых практических реализациях: \treeflow, который достигает конкурентоспособного качества генерации на табличных данных с более высокой точностью и двукратным ускорением вычислений, и \dsmtree — новом методе дистилляции, который переносит иерархическую логику принятия решений в нейронные сети, достигая производительности учителя в пределах 2% на многих тестовых наборах.
English
Decision trees and diffusion models are ostensibly disparate model classes, one discrete and hierarchical, the other continuous and dynamic. This work unifies the two by establishing a crisp mathematical correspondence between hierarchical decision trees and diffusion processes in appropriate limiting regimes. Our unification reveals a shared optimization principle: Global Trajectory Score Matching (GTSM), for which gradient boosting (in an idealized version) is asymptotically optimal. We underscore the conceptual value of our work through two key practical instantiations: \treeflow, which achieves competitive generation quality on tabular data with higher fidelity and a 2\times computational speedup, and \dsmtree, a novel distillation method that transfers hierarchical decision logic into neural networks, matching teacher performance within 2\% on many benchmarks.