BlenderRAG: 검색 증강 코드 합성을 통한 고정밀 3D 객체 생성

초록

자연어로부터 실행 가능한 Blender 코드의 자동 생성은 여전히 어려운 과제로, 최첨단 대규모 언어 모델(LLM)들은 빈번한 구문 오류와 기하학적으로 일관성 없는 객체를 생성합니다. 본 논문에서는 50개 객체 카테고리에서 전문가가 검증한 500개의 다중모달 예시(텍스트, 코드, 이미지)로 구성된 정제된 데이터셋을 기반으로 작동하는 검색 증강 생성 시스템인 BlenderRAG을 제안합니다. 생성 과정에서 의미론적으로 유사한 예시를 검색함으로써, BlenderRAG은 네 가지 최첨단 LLM에 대해 파인튜닝이나 전용 하드웨어 없이도 컴파일 성공률을 40.8%에서 70.0%로, 의미론적 정규화 정합도(CLIP 유사도 기준)를 0.41에서 0.77로 향상시켜 즉시 배포가 가능하도록 합니다. 데이터셋과 코드는 https://github.com/MaxRondelli/BlenderRAG에서 공개될 예정입니다.

English

Automatic generation of executable Blender code from natural language remains challenging, with state-of-the-art LLMs producing frequent syntactic errors and geometrically inconsistent objects. We present BlenderRAG, a retrieval-augmented generation system that operates on a curated multimodal dataset of 500 expert-validated examples (text, code, image) across 50 object categories. By retrieving semantically similar examples during generation, BlenderRAG improves compilation success rates from 40.8% to 70.0% and semantic normalized alignment from 0.41 to 0.77 (CLIP similarity) across four state-of-the-art LLMs, without requiring fine-tuning or specialized hardware, making it immediately accessible for deployment. The dataset and code will be available at https://github.com/MaxRondelli/BlenderRAG.

BlenderRAG: 검색 증강 코드 합성을 통한 고정밀 3D 객체 생성

BlenderRAG: High-Fidelity 3D Object Generation via Retrieval-Augmented Code Synthesis

초록

Support