LLMs für das Ingenieurwesen: Modelle lehren, leistungsstarke Raketen zu entwerfen

LLMs for Engineering: Teaching Models to Design High Powered Rockets

April 27, 2025

Autoren: Toby Simonds

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) haben die Softwareentwicklung revolutioniert, doch ihre Anwendung in physikalischen Ingenieursdomänen bleibt weitgehend unerforscht. Diese Arbeit bewertet die Fähigkeiten von LLMs im Bereich des Hochleistungsraketenentwurfs mithilfe von RocketBench, einem Benchmark, der LLMs mit hochgenauen Raketensimulationen verbindet. Wir testen Modelle an zwei zunehmend komplexen Entwurfsaufgaben: der Optimierung der Zielhöhe und der Präzisionslandung. Unsere Ergebnisse zeigen, dass zwar state-of-the-art LLMs über solides Grundlagenwissen im Ingenieurwesen verfügen, sie jedoch Schwierigkeiten haben, ihre Entwürfe auf der Grundlage von Simulationsergebnissen zu iterieren und letztlich unterhalb des menschlichen Leistungsniveaus stagnieren. Wenn sie jedoch mit Verstärkungslernen (RL) verbessert werden, zeigt sich, dass ein 7B-Parameter-Modell sowohl state-of-the-art Basismodelle als auch menschliche Experten übertrifft. Diese Forschung demonstriert, dass RL-trainierte LLMs als effektive Werkzeuge für komplexe Ingenieursoptimierung dienen können und potenziell Ingenieursdomänen über die Softwareentwicklung hinaus transformieren könnten.

English

Large Language Models (LLMs) have transformed software engineering, but their application to physical engineering domains remains underexplored. This paper evaluates LLMs' capabilities in high-powered rocketry design through RocketBench, a benchmark connecting LLMs to high-fidelity rocket simulations. We test models on two increasingly complex design tasks: target altitude optimization and precision landing challenges. Our findings reveal that while state-of-the-art LLMs demonstrate strong baseline engineering knowledge, they struggle to iterate on their designs when given simulation results and ultimately plateau below human performance levels. However, when enhanced with reinforcement learning (RL), we show that a 7B parameter model outperforms both SoTA foundation models and human experts. This research demonstrates that RL-trained LLMs can serve as effective tools for complex engineering optimization, potentially transforming engineering domains beyond software development.