PDE-контроллер: LLM для автоформализации и рассуждений о уравнениях в частных производных

PDE-Controller: LLMs for Autoformalization and Reasoning of PDEs

February 3, 2025

Авторы: Mauricio Soroco, Jialin Song, Mengzhou Xia, Kye Emond, Weiran Sun, Wuyang Chen

cs.AI

Аннотация

В то время как недавние исследования в области искусственного интеллекта в математике сделали значительные успехи в чистой математике, области прикладной математики, в частности, уравнения в частных производных (УЧП), остаются недостаточно исследованными, несмотря на их значительное применение в реальном мире. Мы представляем PDE-Controller, фреймворк, который позволяет крупным языковым моделям (LLM) управлять системами, управляемыми уравнениями в частных производных (УЧП). Наш подход позволяет LLM преобразовывать неформальные естественноязыковые инструкции в формальные спецификации, а затем выполнять шаги рассуждения и планирования для улучшения полезности управления УЧП. Мы создаем комплексное решение, включающее наборы данных (как случаи, написанные людьми, так и 2 миллиона синтетических образцов), модели математического рассуждения и новые метрики оценки, все это требует значительных усилий. Наш PDE-Controller значительно превосходит последние модели с открытым исходным кодом и модели GPT в рассуждениях, автоформализации и синтезе программ, достигая до 62% улучшения в полезности управления УЧП. Связывая языковое поколение и системы УЧП, мы демонстрируем потенциал LLM в решении сложных научных и инженерных задач. Мы опубликуем все данные, контрольные точки моделей и код на https://pde-controller.github.io/.

English

While recent AI-for-math has made strides in pure mathematics, areas of applied mathematics, particularly PDEs, remain underexplored despite their significant real-world applications. We present PDE-Controller, a framework that enables large language models (LLMs) to control systems governed by partial differential equations (PDEs). Our approach enables LLMs to transform informal natural language instructions into formal specifications, and then execute reasoning and planning steps to improve the utility of PDE control. We build a holistic solution comprising datasets (both human-written cases and 2 million synthetic samples), math-reasoning models, and novel evaluation metrics, all of which require significant effort. Our PDE-Controller significantly outperforms prompting the latest open-source and GPT models in reasoning, autoformalization, and program synthesis, achieving up to a 62% improvement in utility gain for PDE control. By bridging the gap between language generation and PDE systems, we demonstrate the potential of LLMs in addressing complex scientific and engineering challenges. We will release all data, model checkpoints, and code at https://pde-controller.github.io/.