PDE-Controller: LLM per l'Autoformalizzazione e il Ragionamento delle PDE

PDE-Controller: LLMs for Autoformalization and Reasoning of PDEs

February 3, 2025

Autori: Mauricio Soroco, Jialin Song, Mengzhou Xia, Kye Emond, Weiran Sun, Wuyang Chen

cs.AI

Abstract

Sebbene di recente l'IA per la matematica abbia compiuto progressi nella matematica pura, aree della matematica applicata, in particolare le equazioni differenziali parziali (PDE), rimangono poco esplorate nonostante le loro significative applicazioni reali. Presentiamo PDE-Controller, un framework che consente ai grandi modelli linguistici (LLM) di controllare sistemi regolati da equazioni differenziali parziali (PDE). Il nostro approccio consente ai LLM di trasformare istruzioni informali in linguaggio naturale in specifiche formali, per poi eseguire passaggi di ragionamento e pianificazione per migliorare l'utilità del controllo delle PDE. Costruiamo una soluzione olistica che comprende set di dati (casi scritti da umani e 2 milioni di campioni sintetici), modelli di ragionamento matematico e metriche di valutazione innovative, il tutto richiede uno sforzo significativo. Il nostro PDE-Controller supera significativamente i modelli open-source e GPT più recenti nel ragionamento, nell'autoformalizzazione e nella sintesi dei programmi, ottenendo un miglioramento fino al 62% nell'aumento dell'utilità per il controllo delle PDE. Colmando il divario tra la generazione di linguaggio e i sistemi PDE, dimostriamo il potenziale dei LLM nel affrontare sfide scientifiche ed ingegneristiche complesse. Rilasceremo tutti i dati, i checkpoint dei modelli e il codice su https://pde-controller.github.io/.

English

While recent AI-for-math has made strides in pure mathematics, areas of applied mathematics, particularly PDEs, remain underexplored despite their significant real-world applications. We present PDE-Controller, a framework that enables large language models (LLMs) to control systems governed by partial differential equations (PDEs). Our approach enables LLMs to transform informal natural language instructions into formal specifications, and then execute reasoning and planning steps to improve the utility of PDE control. We build a holistic solution comprising datasets (both human-written cases and 2 million synthetic samples), math-reasoning models, and novel evaluation metrics, all of which require significant effort. Our PDE-Controller significantly outperforms prompting the latest open-source and GPT models in reasoning, autoformalization, and program synthesis, achieving up to a 62% improvement in utility gain for PDE control. By bridging the gap between language generation and PDE systems, we demonstrate the potential of LLMs in addressing complex scientific and engineering challenges. We will release all data, model checkpoints, and code at https://pde-controller.github.io/.