PDE-Controller: 偏微分方程式の自己形式化と推論のためのLLM

PDE-Controller: LLMs for Autoformalization and Reasoning of PDEs

February 3, 2025

著者: Mauricio Soroco, Jialin Song, Mengzhou Xia, Kye Emond, Weiran Sun, Wuyang Chen

cs.AI

要旨

最近の数学におけるAIの進歩は純粋数学において成果を上げていますが、特にPDE（偏微分方程式）などの応用数学分野は、その重要な実世界応用にもかかわらず、未だ未開拓の領域となっています。本研究では、PDE-Controllerというフレームワークを提案し、大規模言語モデル（LLM）が偏微分方程式（PDEs）によって制御されるシステムを制御することを可能にします。私たちのアプローチは、LLMが非形式的な自然言語の指示を形式仕様に変換し、その後、推論および計画ステップを実行してPDE制御の有用性を向上させることを実現します。私たちは、人間が書いたケースと200万の合成サンプルからなるデータセット、数学推論モデル、および革新的な評価基準を含む包括的なソリューションを構築しました。これらはすべて、膨大な労力を要します。私たちのPDE-Controllerは、推論、自動形式化、プログラム合成において、最新のオープンソースおよびGPTモデルにプロンプトをかけることよりも、PDE制御の有用性向上において最大62%の改善を達成しました。言語生成とPDEシステムとのギャップを埋めることで、LLMが複雑な科学技術上の課題に取り組む潜在能力を実証しています。すべてのデータ、モデルのチェックポイント、およびコードは、https://pde-controller.github.io/ で公開予定です。

English

While recent AI-for-math has made strides in pure mathematics, areas of applied mathematics, particularly PDEs, remain underexplored despite their significant real-world applications. We present PDE-Controller, a framework that enables large language models (LLMs) to control systems governed by partial differential equations (PDEs). Our approach enables LLMs to transform informal natural language instructions into formal specifications, and then execute reasoning and planning steps to improve the utility of PDE control. We build a holistic solution comprising datasets (both human-written cases and 2 million synthetic samples), math-reasoning models, and novel evaluation metrics, all of which require significant effort. Our PDE-Controller significantly outperforms prompting the latest open-source and GPT models in reasoning, autoformalization, and program synthesis, achieving up to a 62% improvement in utility gain for PDE control. By bridging the gap between language generation and PDE systems, we demonstrate the potential of LLMs in addressing complex scientific and engineering challenges. We will release all data, model checkpoints, and code at https://pde-controller.github.io/.