LLM per l'Ingegneria: Insegnare ai Modelli a Progettare Razzi ad Alta Potenza

LLMs for Engineering: Teaching Models to Design High Powered Rockets

April 27, 2025

Autori: Toby Simonds

cs.AI

Abstract

I modelli linguistici di grandi dimensioni (LLM) hanno rivoluzionato l'ingegneria del software, ma la loro applicazione ai domini dell'ingegneria fisica rimane ancora poco esplorata. Questo articolo valuta le capacità degli LLM nella progettazione di razzi ad alta potenza attraverso RocketBench, un benchmark che collega gli LLM a simulazioni di razzi ad alta fedeltà. Testiamo i modelli su due compiti di progettazione di crescente complessità: l'ottimizzazione dell'altitudine target e le sfide di atterraggio di precisione. I nostri risultati rivelano che, sebbene gli LLM all'avanguardia dimostrino una solida conoscenza ingegneristica di base, faticano a iterare i loro progetti quando vengono forniti i risultati delle simulazioni e alla fine si stabilizzano al di sotto dei livelli di prestazione umana. Tuttavia, quando potenziati con l'apprendimento per rinforzo (RL), dimostriamo che un modello con 7 miliardi di parametri supera sia i modelli di base all'avanguardia che gli esperti umani. Questa ricerca dimostra che gli LLM addestrati con RL possono servire come strumenti efficaci per l'ottimizzazione ingegneristica complessa, potenzialmente trasformando i domini dell'ingegneria oltre lo sviluppo software.

English

Large Language Models (LLMs) have transformed software engineering, but their application to physical engineering domains remains underexplored. This paper evaluates LLMs' capabilities in high-powered rocketry design through RocketBench, a benchmark connecting LLMs to high-fidelity rocket simulations. We test models on two increasingly complex design tasks: target altitude optimization and precision landing challenges. Our findings reveal that while state-of-the-art LLMs demonstrate strong baseline engineering knowledge, they struggle to iterate on their designs when given simulation results and ultimately plateau below human performance levels. However, when enhanced with reinforcement learning (RL), we show that a 7B parameter model outperforms both SoTA foundation models and human experts. This research demonstrates that RL-trained LLMs can serve as effective tools for complex engineering optimization, potentially transforming engineering domains beyond software development.