Contrôleur PDE : LLM pour l'autoformalisation et le raisonnement des EDP

PDE-Controller: LLMs for Autoformalization and Reasoning of PDEs

February 3, 2025

Auteurs: Mauricio Soroco, Jialin Song, Mengzhou Xia, Kye Emond, Weiran Sun, Wuyang Chen

cs.AI

Résumé

Alors que l'IA pour les mathématiques a récemment progressé dans le domaine des mathématiques pures, des domaines des mathématiques appliquées, en particulier les EDP, restent sous-explorés malgré leurs importantes applications dans le monde réel. Nous présentons PDE-Controller, un cadre qui permet aux grands modèles de langage (LLMs) de contrôler des systèmes régis par des équations aux dérivées partielles (EDP). Notre approche permet aux LLMs de transformer des instructions informelles en langage naturel en spécifications formelles, puis d'exécuter des étapes de raisonnement et de planification pour améliorer l'utilité du contrôle des EDP. Nous développons une solution holistique comprenant des ensembles de données (à la fois des cas rédigés par des humains et 2 millions d'échantillons synthétiques), des modèles de raisonnement mathématique et des métriques d'évaluation novatrices, nécessitant tous des efforts significatifs. Notre PDE-Controller surpasse de manière significative les modèles open-source et GPT les plus récents en matière de raisonnement, d'autoformalisation et de synthèse de programmes, atteignant jusqu'à 62 % d'amélioration de l'utilité pour le contrôle des EDP. En comblant le fossé entre la génération de langage et les systèmes d'EDP, nous démontrons le potentiel des LLMs pour relever des défis scientifiques et techniques complexes. Nous rendrons disponibles toutes les données, les points de contrôle des modèles et le code sur https://pde-controller.github.io/.

English

While recent AI-for-math has made strides in pure mathematics, areas of applied mathematics, particularly PDEs, remain underexplored despite their significant real-world applications. We present PDE-Controller, a framework that enables large language models (LLMs) to control systems governed by partial differential equations (PDEs). Our approach enables LLMs to transform informal natural language instructions into formal specifications, and then execute reasoning and planning steps to improve the utility of PDE control. We build a holistic solution comprising datasets (both human-written cases and 2 million synthetic samples), math-reasoning models, and novel evaluation metrics, all of which require significant effort. Our PDE-Controller significantly outperforms prompting the latest open-source and GPT models in reasoning, autoformalization, and program synthesis, achieving up to a 62% improvement in utility gain for PDE control. By bridging the gap between language generation and PDE systems, we demonstrate the potential of LLMs in addressing complex scientific and engineering challenges. We will release all data, model checkpoints, and code at https://pde-controller.github.io/.