생성형 세계 렌더러

초록

생성적 역방향 렌더링 및 순방향 렌더링의 실제 현실 시나리오로의 확장은 기존 합성 데이터셋의 제한된 현실성과 시간적 일관성으로 인해 병목 현상을 겪고 있습니다. 이러한 지속적인 도메인 격차를 해소하기 위해, 우리는 시각적으로 복잡한 AAA 게임에서 추출한 대규모 동적 데이터셋을 소개합니다. 새로운 이중 화면 스티칭 캡처 방법을 사용하여 다양한 장면, 시각 효과, 환경(악천후 및 모션 블러 변형 포함)에서 동기화된 RGB 및 5개의 G-버퍼 채널로 구성된 400만 개의 연속 프레임(720p/30 FPS)을 추출했습니다. 이 데이터셋은 양방향 렌더링을 독창적으로 발전시킵니다: 강력한 실제 환경 기하학 및 재질 분해를 가능하게 하고, 고품질 G-버퍼 기반 비디오 생성을 용이하게 합니다. 더 나아가, 실측값 없이 역방향 렌더링의 실제 성능을 평가하기 위해 의미론적, 공간적, 시간적 일관성을 측정하는 새로운 VLM 기반 평가 프로토콜을 제안합니다. 실험 결과, 우리의 데이터로 미세 조정된 역방향 렌더러는 우수한 데이터셋 간 일반화 성능과 제어 가능한 생성을 달성하는 한편, 우리의 VLM 평가는 인간의 판단과 강한 상관관계를 보였습니다. 우리의 툴킷과 결합된 순방향 렌더러는 사용자가 텍스트 프롬프트를 사용하여 G-버퍼로부터 AAA 게임의 스타일을 편집할 수 있게 합니다.

English

Scaling generative inverse and forward rendering to real-world scenarios is bottlenecked by the limited realism and temporal coherence of existing synthetic datasets. To bridge this persistent domain gap, we introduce a large-scale, dynamic dataset curated from visually complex AAA games. Using a novel dual-screen stitched capture method, we extracted 4M continuous frames (720p/30 FPS) of synchronized RGB and five G-buffer channels across diverse scenes, visual effects, and environments, including adverse weather and motion-blur variants. This dataset uniquely advances bidirectional rendering: enabling robust in-the-wild geometry and material decomposition, and facilitating high-fidelity G-buffer-guided video generation. Furthermore, to evaluate the real-world performance of inverse rendering without ground truth, we propose a novel VLM-based assessment protocol measuring semantic, spatial, and temporal consistency. Experiments demonstrate that inverse renderers fine-tuned on our data achieve superior cross-dataset generalization and controllable generation, while our VLM evaluation strongly correlates with human judgment. Combined with our toolkit, our forward renderer enables users to edit styles of AAA games from G-buffers using text prompts.

생성형 세계 렌더러

Generative World Renderer

초록

Support