Voxify3D: Pixel Art Ontmoet Volumetrische Weergave
Voxify3D: Pixel Art Meets Volumetric Rendering
December 8, 2025
Auteurs: Yi-Chuan Huang, Jiewen Chan, Hao-Jen Chien, Yu-Lun Liu
cs.AI
Samenvatting
Voxelkunst is een onderscheidende stijl die veel wordt gebruikt in games en digitale media, maar geautomatiseerde generatie vanuit 3D-meshes blijft een uitdaging vanwege tegenstrijdige vereisten voor geometrische abstractie, semantisch behoud en discrete kleurcoherentie. Bestaande methodes vereenvoudigen de geometrie ofwel te veel, of slagen er niet in de pixelprecieze, paletbeperkte esthetiek van voxelkunst te bereiken. Wij introduceren Voxify3D, een differentieerbaar tweestapsraamwerk dat 3D-meshoptimalisatie verbindt met 2D pixel art-supervisie. Onze kerninnovatie ligt in de synergetische integratie van drie componenten: (1) orthografische pixel art-supervisie die perspectiefvervorming elimineert voor precieze voxel-pixel-uitlijning; (2) patchgebaseerde CLIP-uitlijning die semantiek behoudt over discretisatieniveaus; (3) paletbeperkte Gumbel-Softmax-kwantisatie die differentieerbare optimalisatie over discrete kleurruimten mogelijk maakt met beheersbare paletstrategieën. Deze integratie lost fundamentele problemen op: semantisch behoud onder extreme discretisatie, pixel art-esthetiek via volumetrische rendering, en end-to-end discrete optimalisatie. Experimenten tonen superieure prestaties (37.12 CLIP-IQA, 77.90% gebruikersvoorkeur) voor diverse karakters en beheersbare abstractie (2-8 kleuren, 20x-50x resoluties). Projectpagina: https://yichuanh.github.io/Voxify-3D/
English
Voxel art is a distinctive stylization widely used in games and digital media, yet automated generation from 3D meshes remains challenging due to conflicting requirements of geometric abstraction, semantic preservation, and discrete color coherence. Existing methods either over-simplify geometry or fail to achieve the pixel-precise, palette-constrained aesthetics of voxel art. We introduce Voxify3D, a differentiable two-stage framework bridging 3D mesh optimization with 2D pixel art supervision. Our core innovation lies in the synergistic integration of three components: (1) orthographic pixel art supervision that eliminates perspective distortion for precise voxel-pixel alignment; (2) patch-based CLIP alignment that preserves semantics across discretization levels; (3) palette-constrained Gumbel-Softmax quantization enabling differentiable optimization over discrete color spaces with controllable palette strategies. This integration addresses fundamental challenges: semantic preservation under extreme discretization, pixel-art aesthetics through volumetric rendering, and end-to-end discrete optimization. Experiments show superior performance (37.12 CLIP-IQA, 77.90\% user preference) across diverse characters and controllable abstraction (2-8 colors, 20x-50x resolutions). Project page: https://yichuanh.github.io/Voxify-3D/