LLMs para Ingeniería: Enseñando a los Modelos a Diseñar Cohetes de Alto Rendimiento

LLMs for Engineering: Teaching Models to Design High Powered Rockets

April 27, 2025

Autores: Toby Simonds

cs.AI

Resumen

Los Modelos de Lenguaje a Gran Escala (LLMs, por sus siglas en inglés) han transformado la ingeniería de software, pero su aplicación en dominios de ingeniería física sigue siendo poco explorada. Este artículo evalúa las capacidades de los LLMs en el diseño de cohetes de alta potencia a través de RocketBench, un punto de referencia que conecta los LLMs con simulaciones de cohetes de alta fidelidad. Probamos los modelos en dos tareas de diseño de creciente complejidad: optimización de altitud objetivo y desafíos de aterrizaje de precisión. Nuestros hallazgos revelan que, aunque los LLMs de última generación demuestran un conocimiento de ingeniería sólido como base, tienen dificultades para iterar en sus diseños cuando se les proporcionan resultados de simulación y, en última instancia, se estancan por debajo de los niveles de rendimiento humano. Sin embargo, cuando se mejoran con aprendizaje por refuerzo (RL, por sus siglas en inglés), demostramos que un modelo de 7B parámetros supera tanto a los modelos base de última generación como a los expertos humanos. Esta investigación demuestra que los LLMs entrenados con RL pueden servir como herramientas efectivas para la optimización de ingeniería compleja, potencialmente transformando dominios de ingeniería más allá del desarrollo de software.

English

Large Language Models (LLMs) have transformed software engineering, but their application to physical engineering domains remains underexplored. This paper evaluates LLMs' capabilities in high-powered rocketry design through RocketBench, a benchmark connecting LLMs to high-fidelity rocket simulations. We test models on two increasingly complex design tasks: target altitude optimization and precision landing challenges. Our findings reveal that while state-of-the-art LLMs demonstrate strong baseline engineering knowledge, they struggle to iterate on their designs when given simulation results and ultimately plateau below human performance levels. However, when enhanced with reinforcement learning (RL), we show that a 7B parameter model outperforms both SoTA foundation models and human experts. This research demonstrates that RL-trained LLMs can serve as effective tools for complex engineering optimization, potentially transforming engineering domains beyond software development.