StrandDesigner: Rumo à Geração Prática de Fios com Orientação por Esboço

StrandDesigner: Towards Practical Strand Generation with Sketch Guidance

August 3, 2025

Autores: Na Zhang, Moran Li, Chengming Xu, Han Feng, Xiaobin Hu, Jiangning Zhang, Weijian Cao, Chengjie Wang, Yanwei Fu

cs.AI

Resumo

A geração realista de fios de cabelo é crucial para aplicações como gráficos computacionais e realidade virtual. Embora os modelos de difusão possam gerar penteados a partir de texto ou imagens, essas entradas carecem de precisão e facilidade de uso. Em vez disso, propomos o primeiro modelo de geração de fios baseado em esboços, que oferece um controle mais refinado enquanto mantém a facilidade de uso. Nosso framework aborda desafios-chave, como a modelagem de interações complexas entre fios e padrões diversos de esboços, por meio de duas inovações principais: uma estratégia de upsampling de fios aprendível que codifica fios 3D em espaços latentes multi-escala, e um mecanismo de condicionamento adaptativo multi-escala usando um transformer com cabeças de difusão para garantir consistência entre os níveis de granularidade. Experimentos em vários conjuntos de dados de referência mostram que nosso método supera as abordagens existentes em realismo e precisão. Resultados qualitativos confirmam ainda mais sua eficácia. O código será disponibilizado em [GitHub](https://github.com/fighting-Zhang/StrandDesigner).

English

Realistic hair strand generation is crucial for applications like computer graphics and virtual reality. While diffusion models can generate hairstyles from text or images, these inputs lack precision and user-friendliness. Instead, we propose the first sketch-based strand generation model, which offers finer control while remaining user-friendly. Our framework tackles key challenges, such as modeling complex strand interactions and diverse sketch patterns, through two main innovations: a learnable strand upsampling strategy that encodes 3D strands into multi-scale latent spaces, and a multi-scale adaptive conditioning mechanism using a transformer with diffusion heads to ensure consistency across granularity levels. Experiments on several benchmark datasets show our method outperforms existing approaches in realism and precision. Qualitative results further confirm its effectiveness. Code will be released at [GitHub](https://github.com/fighting-Zhang/StrandDesigner).