Bäume zu Flüssen und zurück: Die Vereinheitlichung von Entscheidungsbäumen und Diffusionsmodellen
Trees to Flows and Back: Unifying Decision Trees and Diffusion Models
May 1, 2026
Autoren: Sai Niranjan Ramachandran, Suvrit Sra
cs.AI
Zusammenfassung
Entscheidungsbäume und Diffusionsmodelle sind auf den ersten Blick unterschiedliche Modellklassen – die eine diskret und hierarchisch, die andere kontinuierlich und dynamisch. Diese Arbeit vereint beide, indem sie eine klare mathematische Entsprechung zwischen hierarchischen Entscheidungsbäumen und Diffusionsprozessen in geeigneten Grenzbereichsregimen herstellt. Unsere Vereinheitlichung offenbart ein gemeinsames Optimierungsprinzip: Global Trajectory Score Matching (GTSM), für das Gradient Boosting (in einer idealisierten Version) asymptotisch optimal ist. Wir unterstreichen den konzeptionellen Wert unserer Arbeit durch zwei zentrale praktische Umsetzungen: \treeflow, das eine wettbewerbsfähige Erzeugungsqualität bei tabellarischen Daten mit höherer Treue und einer 2-fachen Rechenbeschleunigung erreicht, und \dsmtree, eine neuartige Destillationsmethode, die hierarchische Entscheidungslogik in neuronale Netze überträgt und die Leistung des Lehrer-Modells auf vielen Benchmarks innerhalb von 2\% erreicht.
English
Decision trees and diffusion models are ostensibly disparate model classes, one discrete and hierarchical, the other continuous and dynamic. This work unifies the two by establishing a crisp mathematical correspondence between hierarchical decision trees and diffusion processes in appropriate limiting regimes. Our unification reveals a shared optimization principle: Global Trajectory Score Matching (GTSM), for which gradient boosting (in an idealized version) is asymptotically optimal. We underscore the conceptual value of our work through two key practical instantiations: \treeflow, which achieves competitive generation quality on tabular data with higher fidelity and a 2\times computational speedup, and \dsmtree, a novel distillation method that transfers hierarchical decision logic into neural networks, matching teacher performance within 2\% on many benchmarks.