LLM's voor techniek: Modellen leren om krachtige raketten te ontwerpen

LLMs for Engineering: Teaching Models to Design High Powered Rockets

April 27, 2025

Auteurs: Toby Simonds

cs.AI

Samenvatting

Grote Taalmodellen (LLMs) hebben software engineering getransformeerd, maar hun toepassing in fysieke technische domeinen blijft onderbelicht. Dit artikel evalueert de mogelijkheden van LLMs in het ontwerp van krachtige raketten via RocketBench, een benchmark die LLMs verbindt met hoogwaardige raket-simulaties. We testen modellen op twee steeds complexere ontwerptaken: optimalisatie van doelhoogte en precisielandingsuitdagingen. Onze bevindingen tonen aan dat, hoewel state-of-the-art LLMs een sterke basiskennis van engineering demonstreren, ze moeite hebben om hun ontwerpen te herzien op basis van simulatie-resultaten en uiteindelijk een plateau bereiken onder het niveau van menselijke prestaties. Wanneer echter versterkt met reinforcement learning (RL), laten we zien dat een model met 7B parameters zowel de huidige foundation-modellen als menselijke experts overtreft. Dit onderzoek toont aan dat met RL getrainde LLMs effectieve tools kunnen zijn voor complexe technische optimalisatie, wat mogelijk technische domeinen buiten softwareontwikkeling kan transformeren.

English

Large Language Models (LLMs) have transformed software engineering, but their application to physical engineering domains remains underexplored. This paper evaluates LLMs' capabilities in high-powered rocketry design through RocketBench, a benchmark connecting LLMs to high-fidelity rocket simulations. We test models on two increasingly complex design tasks: target altitude optimization and precision landing challenges. Our findings reveal that while state-of-the-art LLMs demonstrate strong baseline engineering knowledge, they struggle to iterate on their designs when given simulation results and ultimately plateau below human performance levels. However, when enhanced with reinforcement learning (RL), we show that a 7B parameter model outperforms both SoTA foundation models and human experts. This research demonstrates that RL-trained LLMs can serve as effective tools for complex engineering optimization, potentially transforming engineering domains beyond software development.