LLMs para Engenharia: Ensinando Modelos a Projetar Foguetes de Alta Potência

LLMs for Engineering: Teaching Models to Design High Powered Rockets

April 27, 2025

Autores: Toby Simonds

cs.AI

Resumo

Modelos de Linguagem de Grande Escala (LLMs) transformaram a engenharia de software, mas sua aplicação em domínios de engenharia física ainda é pouco explorada. Este artigo avalia as capacidades dos LLMs no design de foguetes de alta potência por meio do RocketBench, um benchmark que conecta LLMs a simulações de foguetes de alta fidelidade. Testamos os modelos em duas tarefas de design de complexidade crescente: otimização de altitude alvo e desafios de pouso de precisão. Nossos resultados revelam que, embora os LLMs de última geração demonstrem um forte conhecimento básico de engenharia, eles têm dificuldade em iterar seus designs quando recebem resultados de simulação e, por fim, atingem um platô abaixo dos níveis de desempenho humano. No entanto, quando aprimorados com aprendizado por reforço (RL), mostramos que um modelo de 7B parâmetros supera tanto os modelos de base SoTA quanto os especialistas humanos. Esta pesquisa demonstra que LLMs treinados com RL podem servir como ferramentas eficazes para otimização de engenharia complexa, potencialmente transformando domínios de engenharia além do desenvolvimento de software.

English

Large Language Models (LLMs) have transformed software engineering, but their application to physical engineering domains remains underexplored. This paper evaluates LLMs' capabilities in high-powered rocketry design through RocketBench, a benchmark connecting LLMs to high-fidelity rocket simulations. We test models on two increasingly complex design tasks: target altitude optimization and precision landing challenges. Our findings reveal that while state-of-the-art LLMs demonstrate strong baseline engineering knowledge, they struggle to iterate on their designs when given simulation results and ultimately plateau below human performance levels. However, when enhanced with reinforcement learning (RL), we show that a 7B parameter model outperforms both SoTA foundation models and human experts. This research demonstrates that RL-trained LLMs can serve as effective tools for complex engineering optimization, potentially transforming engineering domains beyond software development.