Modèles de diffusion neurosymboliques

Neurosymbolic Diffusion Models

May 19, 2025

Auteurs: Emile van Krieken, Pasquale Minervini, Edoardo Ponti, Antonio Vergari

cs.AI

Résumé

Les prédicteurs neurosymboliques (NeSy) combinent la perception neuronale avec le raisonnement symbolique pour résoudre des tâches telles que le raisonnement visuel. Cependant, les prédicteurs NeSy standards supposent une indépendance conditionnelle entre les symboles qu'ils extraient, limitant ainsi leur capacité à modéliser les interactions et l'incertitude - ce qui conduit souvent à des prédictions trop confiantes et à une mauvaise généralisation hors distribution. Pour surmonter les limites de l'hypothèse d'indépendance, nous introduisons les modèles de diffusion neurosymboliques (NeSyDMs), une nouvelle classe de prédicteurs NeSy qui utilisent la diffusion discrète pour modéliser les dépendances entre les symboles. Notre approche réutilise l'hypothèse d'indépendance des prédicteurs NeSy à chaque étape du processus de diffusion, permettant un apprentissage scalable tout en capturant les dépendances symboliques et la quantification de l'incertitude. Sur des benchmarks synthétiques et réels - incluant la planification de trajectoires visuelles en haute dimension et la conduite autonome basée sur des règles - les NeSyDMs atteignent une précision de pointe parmi les prédicteurs NeSy et démontrent une forte calibration.

English

Neurosymbolic (NeSy) predictors combine neural perception with symbolic reasoning to solve tasks like visual reasoning. However, standard NeSy predictors assume conditional independence between the symbols they extract, thus limiting their ability to model interactions and uncertainty - often leading to overconfident predictions and poor out-of-distribution generalisation. To overcome the limitations of the independence assumption, we introduce neurosymbolic diffusion models (NeSyDMs), a new class of NeSy predictors that use discrete diffusion to model dependencies between symbols. Our approach reuses the independence assumption from NeSy predictors at each step of the diffusion process, enabling scalable learning while capturing symbol dependencies and uncertainty quantification. Across both synthetic and real-world benchmarks - including high-dimensional visual path planning and rule-based autonomous driving - NeSyDMs achieve state-of-the-art accuracy among NeSy predictors and demonstrate strong calibration.