Voxify3D: A Arte Pixel Encontra a Renderização Volumétrica
Voxify3D: Pixel Art Meets Volumetric Rendering
December 8, 2025
Autores: Yi-Chuan Huang, Jiewen Chan, Hao-Jen Chien, Yu-Lun Liu
cs.AI
Resumo
A arte voxel é uma estilização distintamente amplamente utilizada em jogos e mídias digitais, mas a geração automatizada a partir de malhas 3D permanece desafiadora devido a requisitos conflitantes de abstração geométrica, preservação semântica e coerência de cores discretas. Os métodos existentes ou simplificam excessivamente a geometria ou falham em alcançar a estética pixel-perfeita e restrita a paletas da arte voxel. Apresentamos o Voxify3D, uma estrutura diferenciável de dois estágios que conecta a otimização de malha 3D com a supervisão de arte pixel 2D. Nossa principal inovação reside na integração sinérgica de três componentes: (1) supervisão de arte pixel ortográfica que elimina a distorção de perspectiva para um alinhamento voxel-pixel preciso; (2) alinhamento baseado em *patches* com CLIP que preserva a semântica através de níveis de discretização; (3) quantização Gumbel-Softmax restrita a paletas, permitindo otimização diferenciável sobre espaços de cor discretos com estratégias de paleta controláveis. Esta integração aborda desafios fundamentais: preservação semântica sob discretização extrema, estética de arte pixel através de renderização volumétrica e otimização discreta de ponta a ponta. Experimentos mostram desempenho superior (37.12 CLIP-IQA, 77.90\% de preferência do utilizador) em diversos personagens e com abstração controlável (2-8 cores, resoluções 20x-50x). Página do projeto: https://yichuanh.github.io/Voxify-3D/
English
Voxel art is a distinctive stylization widely used in games and digital media, yet automated generation from 3D meshes remains challenging due to conflicting requirements of geometric abstraction, semantic preservation, and discrete color coherence. Existing methods either over-simplify geometry or fail to achieve the pixel-precise, palette-constrained aesthetics of voxel art. We introduce Voxify3D, a differentiable two-stage framework bridging 3D mesh optimization with 2D pixel art supervision. Our core innovation lies in the synergistic integration of three components: (1) orthographic pixel art supervision that eliminates perspective distortion for precise voxel-pixel alignment; (2) patch-based CLIP alignment that preserves semantics across discretization levels; (3) palette-constrained Gumbel-Softmax quantization enabling differentiable optimization over discrete color spaces with controllable palette strategies. This integration addresses fundamental challenges: semantic preservation under extreme discretization, pixel-art aesthetics through volumetric rendering, and end-to-end discrete optimization. Experiments show superior performance (37.12 CLIP-IQA, 77.90\% user preference) across diverse characters and controllable abstraction (2-8 colors, 20x-50x resolutions). Project page: https://yichuanh.github.io/Voxify-3D/