Controlador de EDP: LLM para Autoformalización y Razonamiento de EDP

PDE-Controller: LLMs for Autoformalization and Reasoning of PDEs

February 3, 2025

Autores: Mauricio Soroco, Jialin Song, Mengzhou Xia, Kye Emond, Weiran Sun, Wuyang Chen

cs.AI

Resumen

Si bien recientemente la IA para matemáticas ha avanzado en matemáticas puras, áreas de matemáticas aplicadas, en particular las EDP, siguen siendo poco exploradas a pesar de sus significativas aplicaciones en el mundo real. Presentamos PDE-Controller, un marco que permite a los grandes modelos de lenguaje (LLMs) controlar sistemas gobernados por ecuaciones en derivadas parciales (EDPs). Nuestro enfoque permite a los LLMs transformar instrucciones informales en lenguaje natural en especificaciones formales, y luego ejecutar pasos de razonamiento y planificación para mejorar la utilidad del control de EDP. Construimos una solución integral que comprende conjuntos de datos (casos escritos por humanos y 2 millones de muestras sintéticas), modelos de razonamiento matemático y métricas de evaluación novedosas, todos los cuales requieren un esfuerzo significativo. Nuestro PDE-Controller supera significativamente a los modelos de código abierto más recientes y a los modelos GPT en razonamiento, autoformalización y síntesis de programas, logrando hasta un 62% de mejora en la ganancia de utilidad para el control de EDP. Al cerrar la brecha entre la generación de lenguaje y los sistemas de EDP, demostramos el potencial de los LLMs para abordar desafíos científicos y de ingeniería complejos. Publicaremos todos los datos, puntos de control del modelo y código en https://pde-controller.github.io/.

English

While recent AI-for-math has made strides in pure mathematics, areas of applied mathematics, particularly PDEs, remain underexplored despite their significant real-world applications. We present PDE-Controller, a framework that enables large language models (LLMs) to control systems governed by partial differential equations (PDEs). Our approach enables LLMs to transform informal natural language instructions into formal specifications, and then execute reasoning and planning steps to improve the utility of PDE control. We build a holistic solution comprising datasets (both human-written cases and 2 million synthetic samples), math-reasoning models, and novel evaluation metrics, all of which require significant effort. Our PDE-Controller significantly outperforms prompting the latest open-source and GPT models in reasoning, autoformalization, and program synthesis, achieving up to a 62% improvement in utility gain for PDE control. By bridging the gap between language generation and PDE systems, we demonstrate the potential of LLMs in addressing complex scientific and engineering challenges. We will release all data, model checkpoints, and code at https://pde-controller.github.io/.