LLM для инженерии: обучение моделей проектированию высокомощных ракет

LLMs for Engineering: Teaching Models to Design High Powered Rockets

April 27, 2025

Авторы: Toby Simonds

cs.AI

Аннотация

Крупные языковые модели (LLM) произвели революцию в разработке программного обеспечения, однако их применение в физических инженерных областях остается недостаточно изученным. В данной статье оцениваются возможности LLM в проектировании высокомощных ракет с использованием RocketBench — эталонного теста, связывающего LLM с высокоточными симуляциями ракет. Мы тестируем модели на двух задачах возрастающей сложности: оптимизация целевой высоты и задачи точной посадки. Наши результаты показывают, что, хотя современные LLM демонстрируют глубокие базовые знания в инженерии, они испытывают трудности с итеративным улучшением своих проектов на основе результатов симуляций и в конечном итоге достигают плато ниже уровня человеческой производительности. Однако при усилении с помощью обучения с подкреплением (RL) модель с 7 миллиардами параметров превосходит как современные базовые модели, так и экспертов-людей. Это исследование демонстрирует, что LLM, обученные с RL, могут служить эффективными инструментами для сложной инженерной оптимизации, потенциально преобразуя инженерные области за пределами разработки программного обеспечения.

English

Large Language Models (LLMs) have transformed software engineering, but their application to physical engineering domains remains underexplored. This paper evaluates LLMs' capabilities in high-powered rocketry design through RocketBench, a benchmark connecting LLMs to high-fidelity rocket simulations. We test models on two increasingly complex design tasks: target altitude optimization and precision landing challenges. Our findings reveal that while state-of-the-art LLMs demonstrate strong baseline engineering knowledge, they struggle to iterate on their designs when given simulation results and ultimately plateau below human performance levels. However, when enhanced with reinforcement learning (RL), we show that a 7B parameter model outperforms both SoTA foundation models and human experts. This research demonstrates that RL-trained LLMs can serve as effective tools for complex engineering optimization, potentially transforming engineering domains beyond software development.