Sel3DCraft : Invites visuelles interactives pour une génération conviviale de texte en 3D
Sel3DCraft: Interactive Visual Prompts for User-Friendly Text-to-3D Generation
August 1, 2025
papers.authors: Nan Xiang, Tianyi Liang, Haiwen Huang, Shiqi Jiang, Hao Huang, Yifei Huang, Liangyu Chen, Changbo Wang, Chenhui Li
cs.AI
papers.abstract
La génération de texte-à-3D (T23D) a révolutionné la création de contenu numérique, mais reste freinée par des processus d’incitation par essais et erreurs aveugles qui produisent des résultats imprévisibles. Bien que l’ingénierie des invites visuelles ait progressé dans les domaines du texte-à-image, son application à la génération 3D présente des défis uniques nécessitant une évaluation de la cohérence multi-vues et une compréhension spatiale. Nous présentons Sel3DCraft, un système d’ingénierie des invites visuelles pour la T23D qui transforme l’exploration non structurée en un processus visuel guidé. Notre approche introduit trois innovations clés : une structure à double branche combinant la récupération et la génération pour une exploration diversifiée de candidats ; une méthode de notation hybride multi-vues exploitant des MLLM avec des métriques innovantes de haut niveau pour évaluer les modèles 3D avec une cohérence d’expert humain ; et une suite d’analyse visuelle pilotée par des invites permettant une identification et un affinement intuitifs des défauts. Des tests approfondis et des études utilisateurs démontrent que Sel3DCraft surpasse les autres systèmes T23D en soutenant la créativité des concepteurs.
English
Text-to-3D (T23D) generation has transformed digital content creation, yet
remains bottlenecked by blind trial-and-error prompting processes that yield
unpredictable results. While visual prompt engineering has advanced in
text-to-image domains, its application to 3D generation presents unique
challenges requiring multi-view consistency evaluation and spatial
understanding. We present Sel3DCraft, a visual prompt engineering system for
T23D that transforms unstructured exploration into a guided visual process. Our
approach introduces three key innovations: a dual-branch structure combining
retrieval and generation for diverse candidate exploration; a multi-view hybrid
scoring approach that leverages MLLMs with innovative high-level metrics to
assess 3D models with human-expert consistency; and a prompt-driven visual
analytics suite that enables intuitive defect identification and refinement.
Extensive testing and user studies demonstrate that Sel3DCraft surpasses other
T23D systems in supporting creativity for designers.