Voxify3D : Quand le Pixel Art Rencontre le Rendu Volumétrique
Voxify3D: Pixel Art Meets Volumetric Rendering
December 8, 2025
papers.authors: Yi-Chuan Huang, Jiewen Chan, Hao-Jen Chien, Yu-Lun Liu
cs.AI
papers.abstract
L'art voxel est une stylisation distinctive largement utilisée dans les jeux et médias numériques, mais la génération automatisée à partir de maillages 3D reste difficile en raison d'exigences contradictoires d'abstraction géométrique, de préservation sémantique et de cohérence discrète des couleurs. Les méthodes existantes simplifient excessivement la géométrie ou échouent à atteindre l'esthétique voxel aux contraintes précises au pixel et limitée à une palette. Nous présentons Voxify3D, un cadre différentiable en deux étages reliant l'optimisation de maillage 3D à une supervision d'art pixel 2D. Notre innovation fondamentale réside dans l'intégration synergique de trois composants : (1) une supervision orthographique par art pixel qui élimine la distorsion perspective pour un alignement précis voxel-pixel ; (2) un alignement CLIP par patchs qui préserve la sémantique across les niveaux de discrétisation ; (3) une quantification Gumbel-Softmax contrainte par palette permettant l'optimisation différentiable sur des espaces de couleurs discrets avec des stratégies de palette contrôlables. Cette intégration résout des défis fondamentaux : la préservation sémantique sous discrétisation extrême, l'esthétique pixel-art par rendu volumétrique, et l'optimisation discrète de bout en bout. Les expériences montrent des performances supérieures (37.12 CLIP-IQA, 77.90% de préférence utilisateur) sur divers personnages avec abstraction contrôlable (2-8 couleurs, résolutions 20x-50x). Page du projet : https://yichuanh.github.io/Voxify-3D/
English
Voxel art is a distinctive stylization widely used in games and digital media, yet automated generation from 3D meshes remains challenging due to conflicting requirements of geometric abstraction, semantic preservation, and discrete color coherence. Existing methods either over-simplify geometry or fail to achieve the pixel-precise, palette-constrained aesthetics of voxel art. We introduce Voxify3D, a differentiable two-stage framework bridging 3D mesh optimization with 2D pixel art supervision. Our core innovation lies in the synergistic integration of three components: (1) orthographic pixel art supervision that eliminates perspective distortion for precise voxel-pixel alignment; (2) patch-based CLIP alignment that preserves semantics across discretization levels; (3) palette-constrained Gumbel-Softmax quantization enabling differentiable optimization over discrete color spaces with controllable palette strategies. This integration addresses fundamental challenges: semantic preservation under extreme discretization, pixel-art aesthetics through volumetric rendering, and end-to-end discrete optimization. Experiments show superior performance (37.12 CLIP-IQA, 77.90\% user preference) across diverse characters and controllable abstraction (2-8 colors, 20x-50x resolutions). Project page: https://yichuanh.github.io/Voxify-3D/