PDE-Controller: LLMs zur Autoformalisierung und Schlussfolgerung von partiellen Differentialgleichungen

PDE-Controller: LLMs for Autoformalization and Reasoning of PDEs

February 3, 2025

Autoren: Mauricio Soroco, Jialin Song, Mengzhou Xia, Kye Emond, Weiran Sun, Wuyang Chen

cs.AI

Zusammenfassung

Während die jüngste KI-für-Mathematik Fortschritte in reiner Mathematik gemacht hat, bleiben Bereiche der angewandten Mathematik, insbesondere partielle Differentialgleichungen (PDEs), trotz ihrer bedeutenden realen Anwendungen untererforscht. Wir stellen PDE-Controller vor, ein Framework, das es großen Sprachmodellen (LLMs) ermöglicht, Systeme, die von partiellen Differentialgleichungen (PDEs) gesteuert werden, zu kontrollieren. Unser Ansatz ermöglicht es LLMs, informelle natürlichsprachliche Anweisungen in formale Spezifikationen umzuwandeln und dann Schlussfolgerungen und Planungsschritte auszuführen, um die Nützlichkeit der PDE-Steuerung zu verbessern. Wir entwickeln eine ganzheitliche Lösung, bestehend aus Datensätzen (sowohl von Menschen geschriebene Fälle als auch 2 Millionen synthetische Proben), mathematischen Schlussfolgerungsmodellen und neuartigen Evaluierungsmetriken, die alle erheblichen Aufwand erfordern. Unser PDE-Controller übertrifft signifikant die Aufforderung der neuesten Open-Source- und GPT-Modelle in Schlussfolgerung, Autoformalisierung und Programmierungssynthese und erzielt eine bis zu 62%ige Verbesserung des Nützlichkeitsgewinns für die PDE-Steuerung. Indem wir die Kluft zwischen Sprachgenerierung und PDE-Systemen überbrücken, zeigen wir das Potenzial von LLMs bei der Bewältigung komplexer wissenschaftlicher und technischer Herausforderungen. Wir werden alle Daten, Modell-Checkpoints und den Code unter https://pde-controller.github.io/ veröffentlichen.

English

While recent AI-for-math has made strides in pure mathematics, areas of applied mathematics, particularly PDEs, remain underexplored despite their significant real-world applications. We present PDE-Controller, a framework that enables large language models (LLMs) to control systems governed by partial differential equations (PDEs). Our approach enables LLMs to transform informal natural language instructions into formal specifications, and then execute reasoning and planning steps to improve the utility of PDE control. We build a holistic solution comprising datasets (both human-written cases and 2 million synthetic samples), math-reasoning models, and novel evaluation metrics, all of which require significant effort. Our PDE-Controller significantly outperforms prompting the latest open-source and GPT models in reasoning, autoformalization, and program synthesis, achieving up to a 62% improvement in utility gain for PDE control. By bridging the gap between language generation and PDE systems, we demonstrate the potential of LLMs in addressing complex scientific and engineering challenges. We will release all data, model checkpoints, and code at https://pde-controller.github.io/.