Voxify3D: Pixel Art incontra il Rendering Volumetrico
Voxify3D: Pixel Art Meets Volumetric Rendering
December 8, 2025
Autori: Yi-Chuan Huang, Jiewen Chan, Hao-Jen Chien, Yu-Lun Liu
cs.AI
Abstract
La voxel art è una stilizzazione distintiva ampiamente utilizzata nei giochi e nei media digitali, ma la generazione automatizzata a partire da mesh 3D rimane impegnativa a causa dei requisiti contrastanti di astrazione geometrica, preservazione semantica e coerenza cromatica discreta. I metodi esistenti tendono a semplificare eccessivamente la geometria o non riescono a raggiungere l'estetica precisa a livello di pixel e vincolata alla palette tipica della voxel art. Introduciamo Voxify3D, un framework differenziabile a due stadi che collega l'ottimizzazione della mesh 3D con una supervisione basata sulla pixel art 2D. La nostra innovazione principale risiede nell'integrazione sinergica di tre componenti: (1) una supervisione ortografica da pixel art che elimina la distorsione prospettica per un allineamento preciso tra voxel e pixel; (2) un allineamento basato su patch con CLIP che preserva la semantica attraverso i livelli di discretizzazione; (3) una quantizzazione Gumbel-Softmax vincolata alla palette che abilita l'ottimizzazione differenziabile su spazi di colore discreti con strategie di palette controllabili. Questa integrazione affronta sfide fondamentali: la preservazione semantica sotto discretizzazione estrema, l'estetica da pixel art attraverso il rendering volumetrico e l'ottimizzazione discreta end-to-end. Gli esperimenti mostrano prestazioni superiori (37.12 CLIP-IQA, 77.90% preferenza utente) su personaggi diversificati e con astrazione controllabile (2-8 colori, risoluzioni 20x-50x). Pagina del progetto: https://yichuanh.github.io/Voxify-3D/
English
Voxel art is a distinctive stylization widely used in games and digital media, yet automated generation from 3D meshes remains challenging due to conflicting requirements of geometric abstraction, semantic preservation, and discrete color coherence. Existing methods either over-simplify geometry or fail to achieve the pixel-precise, palette-constrained aesthetics of voxel art. We introduce Voxify3D, a differentiable two-stage framework bridging 3D mesh optimization with 2D pixel art supervision. Our core innovation lies in the synergistic integration of three components: (1) orthographic pixel art supervision that eliminates perspective distortion for precise voxel-pixel alignment; (2) patch-based CLIP alignment that preserves semantics across discretization levels; (3) palette-constrained Gumbel-Softmax quantization enabling differentiable optimization over discrete color spaces with controllable palette strategies. This integration addresses fundamental challenges: semantic preservation under extreme discretization, pixel-art aesthetics through volumetric rendering, and end-to-end discrete optimization. Experiments show superior performance (37.12 CLIP-IQA, 77.90\% user preference) across diverse characters and controllable abstraction (2-8 colors, 20x-50x resolutions). Project page: https://yichuanh.github.io/Voxify-3D/