De los Árboles a los Flujos y Viceversa: Unificando los Árboles de Decisión y los Modelos de Difusión
Trees to Flows and Back: Unifying Decision Trees and Diffusion Models
May 1, 2026
Autores: Sai Niranjan Ramachandran, Suvrit Sra
cs.AI
Resumen
Los árboles de decisión y los modelos de difusión son clases de modelos aparentemente dispares: una discreta y jerárquica, la otra continua y dinámica. Este trabajo unifica ambas al establecer una correspondencia matemática precisa entre los árboles de decisión jerárquicos y los procesos de difusión en regímenes límite apropiados. Nuestra unificación revela un principio de optimización compartido: el *Global Trajectory Score Matching* (GTSM), para el cual el *gradient boosting* (en una versión idealizada) es asintóticamente óptimo. Destacamos el valor conceptual de nuestro trabajo mediante dos instanciaciones prácticas clave: \treeflow, que logra una calidad de generación competitiva en datos tabulares con mayor fidelidad y una aceleración computacional de 2×, y \dsmtree, un novedoso método de destilación que transfiere la lógica de decisión jerárquica a redes neuronales, igualando el rendimiento del modelo maestro dentro de un 2% en múltiples benchmarks.
English
Decision trees and diffusion models are ostensibly disparate model classes, one discrete and hierarchical, the other continuous and dynamic. This work unifies the two by establishing a crisp mathematical correspondence between hierarchical decision trees and diffusion processes in appropriate limiting regimes. Our unification reveals a shared optimization principle: Global Trajectory Score Matching (GTSM), for which gradient boosting (in an idealized version) is asymptotically optimal. We underscore the conceptual value of our work through two key practical instantiations: \treeflow, which achieves competitive generation quality on tabular data with higher fidelity and a 2\times computational speedup, and \dsmtree, a novel distillation method that transfers hierarchical decision logic into neural networks, matching teacher performance within 2\% on many benchmarks.