BlenderRAG: Geração de Objetos 3D de Alta Fidelidade via Síntese de Código Aumentada por Recuperação

Resumo

A geração automática de código executável do Blender a partir de linguagem natural continua a ser um desafio, com os modelos de linguagem de última geração produzindo erros sintáticos frequentes e objetos geometricamente inconsistentes. Apresentamos o BlenderRAG, um sistema de geração aumentada por recuperação que opera num conjunto de dados multimodais curado com 500 exemplos validados por especialistas (texto, código, imagem) abrangendo 50 categorias de objetos. Ao recuperar exemplos semanticamente similares durante a geração, o BlenderRAG melhora as taxas de sucesso de compilação de 40,8% para 70,0% e o alinhamento semântico normalizado de 0,41 para 0,77 (similaridade CLIP) em quatro modelos de linguagem de última geração, sem exigir *fine-tuning* ou hardware especializado, tornando-o imediatamente acessível para implementação. O conjunto de dados e o código estarão disponíveis em https://github.com/MaxRondelli/BlenderRAG.

English

Automatic generation of executable Blender code from natural language remains challenging, with state-of-the-art LLMs producing frequent syntactic errors and geometrically inconsistent objects. We present BlenderRAG, a retrieval-augmented generation system that operates on a curated multimodal dataset of 500 expert-validated examples (text, code, image) across 50 object categories. By retrieving semantically similar examples during generation, BlenderRAG improves compilation success rates from 40.8% to 70.0% and semantic normalized alignment from 0.41 to 0.77 (CLIP similarity) across four state-of-the-art LLMs, without requiring fine-tuning or specialized hardware, making it immediately accessible for deployment. The dataset and code will be available at https://github.com/MaxRondelli/BlenderRAG.