Bomen naar Stromen en Terug: De Eenwording van Beslissingsbomen en Diffusiemodellen
Trees to Flows and Back: Unifying Decision Trees and Diffusion Models
May 1, 2026
Auteurs: Sai Niranjan Ramachandran, Suvrit Sra
cs.AI
Samenvatting
Beslissingsbomen en diffusiemodellen zijn ogenschijnlijk verschillende modelklassen: de ene discreet en hiërarchisch, de andere continu en dynamisch. Dit werk verenigt beide door een heldere wiskundige correspondentie vast te stellen tussen hiërarchische beslissingsbomen en diffusieprocessen in geschikte limietregimes. Onze unificatie onthult een gedeeld optimalisatieprincipe: Global Trajectory Score Matching (GTSM), waarvoor gradient boosting (in een geïdealiseerde versie) asymptotisch optimaal is. Wij benadrukken de conceptuele waarde van ons werk via twee praktische toepassingen: \treeflow, dat competitieve generatiekwaliteit bereikt op tabelgegevens met hogere nauwkeurigheid en een 2× computationele versnelling, en \dsmtree, een nieuwe distillatiemethode die hiërarchische beslissingslogica overbrengt in neurale netwerken, waarbij de prestaties van de leraar op veel benchmarks binnen 2% worden geëvenaard.
English
Decision trees and diffusion models are ostensibly disparate model classes, one discrete and hierarchical, the other continuous and dynamic. This work unifies the two by establishing a crisp mathematical correspondence between hierarchical decision trees and diffusion processes in appropriate limiting regimes. Our unification reveals a shared optimization principle: Global Trajectory Score Matching (GTSM), for which gradient boosting (in an idealized version) is asymptotically optimal. We underscore the conceptual value of our work through two key practical instantiations: \treeflow, which achieves competitive generation quality on tabular data with higher fidelity and a 2\times computational speedup, and \dsmtree, a novel distillation method that transfers hierarchical decision logic into neural networks, matching teacher performance within 2\% on many benchmarks.