엔지니어링을 위한 대형 언어 모델: 고출력 로켓 설계를 위한 모델 교육

LLMs for Engineering: Teaching Models to Design High Powered Rockets

April 27, 2025

저자: Toby Simonds

cs.AI

초록

대형 언어 모델(LLMs)은 소프트웨어 공학을 혁신적으로 변화시켰지만, 물리적 공학 분야에의 적용은 아직 충분히 탐구되지 않았습니다. 본 논문은 고성능 로켓 설계에서 LLMs의 능력을 평가하기 위해, LLMs를 고정확도 로켓 시뮬레이션에 연결하는 벤치마크인 RocketBench를 통해 실험을 진행합니다. 우리는 두 가지 점점 복잡해지는 설계 과제, 즉 목표 고도 최적화와 정밀 착륙 도전 과제에서 모델들을 테스트했습니다. 연구 결과, 최첨단 LLMs가 강력한 기본 공학 지식을 보여주는 반면, 시뮬레이션 결과를 제공받았을 때 설계를 반복적으로 개선하는 데 어려움을 겪으며 궁극적으로 인간 수준의 성능에 미치지 못하는 것으로 나타났습니다. 그러나 강화 학습(RL)을 통해 강화된 7B 파라미터 모델은 최신 기반 모델과 인간 전문가 모두를 능가하는 성능을 보였습니다. 이 연구는 RL로 훈련된 LLMs가 복잡한 공학 최적화를 위한 효과적인 도구로 활용될 수 있으며, 소프트웨어 개발을 넘어 공학 분야를 혁신할 잠재력이 있음을 보여줍니다.

English

Large Language Models (LLMs) have transformed software engineering, but their application to physical engineering domains remains underexplored. This paper evaluates LLMs' capabilities in high-powered rocketry design through RocketBench, a benchmark connecting LLMs to high-fidelity rocket simulations. We test models on two increasingly complex design tasks: target altitude optimization and precision landing challenges. Our findings reveal that while state-of-the-art LLMs demonstrate strong baseline engineering knowledge, they struggle to iterate on their designs when given simulation results and ultimately plateau below human performance levels. However, when enhanced with reinforcement learning (RL), we show that a 7B parameter model outperforms both SoTA foundation models and human experts. This research demonstrates that RL-trained LLMs can serve as effective tools for complex engineering optimization, potentially transforming engineering domains beyond software development.