エンジニアリングにおけるLLM：高推力ロケットの設計をモデルに教える

LLMs for Engineering: Teaching Models to Design High Powered Rockets

April 27, 2025

著者: Toby Simonds

cs.AI

要旨

大規模言語モデル（LLM）はソフトウェア工学を変革してきたが、物理工学領域への応用はまだ十分に検討されていない。本論文では、LLMの高推力ロケット設計における能力を、高精度ロケットシミュレーションと接続したベンチマーク「RocketBench」を通じて評価する。我々は、モデルを2つの段階的に複雑化する設計課題（目標高度最適化と精密着陸課題）でテストした。その結果、最先端のLLMは基本的な工学知識を強く示すものの、シミュレーション結果を与えられた際に設計を反復する能力に苦戦し、最終的には人間の性能レベルを下回るプラトーに達することが明らかになった。しかし、強化学習（RL）を組み合わせることで、7Bパラメータのモデルが最先端の基盤モデルと人間の専門家の両方を上回る性能を示すことが確認された。この研究は、RLで訓練されたLLMが複雑な工学最適化の有効なツールとして機能し、ソフトウェア開発を超えた工学領域を変革する可能性があることを示している。

English

Large Language Models (LLMs) have transformed software engineering, but their application to physical engineering domains remains underexplored. This paper evaluates LLMs' capabilities in high-powered rocketry design through RocketBench, a benchmark connecting LLMs to high-fidelity rocket simulations. We test models on two increasingly complex design tasks: target altitude optimization and precision landing challenges. Our findings reveal that while state-of-the-art LLMs demonstrate strong baseline engineering knowledge, they struggle to iterate on their designs when given simulation results and ultimately plateau below human performance levels. However, when enhanced with reinforcement learning (RL), we show that a 7B parameter model outperforms both SoTA foundation models and human experts. This research demonstrates that RL-trained LLMs can serve as effective tools for complex engineering optimization, potentially transforming engineering domains beyond software development.