Au-delà des pixels : transfert de métaphore visuelle par raisonnement agentique piloté par schémas
Beyond Pixels: Visual Metaphor Transfer via Schema-Driven Agentic Reasoning
February 1, 2026
papers.authors: Yu Xu, Yuxin Zhang, Juan Cao, Lin Gao, Chunyu Wang, Oliver Deussen, Tong-Yee Lee, Fan Tang
cs.AI
papers.abstract
La métaphore visuelle constitue une forme supérieure de créativité humaine, employant une fusion sémantique transdomaine pour transformer des concepts abstraits en une rhétorique visuelle percutante. Malgré les progrès remarquables de l'IA générative, les modèles existants restent largement confinés à l'alignement sur des instructions au niveau pixeliel et à la préservation d'apparences superficielles, échouant à capturer la logique abstraite sous-jacente nécessaire à une véritable génération métaphorique. Pour combler cette lacune, nous introduisons la tâche de Transfert de Métaphore Visuelle (VMT), qui défie les modèles à découpler autonome-ment "l'essence créative" d'une image de référence et à re-matérialiser cette logique abstraite sur un sujet cible spécifié par l'utilisateur. Nous proposons un cadre multi-agent inspiré par la cognition qui opérationnalise la Théorie de l'Intégration Conceptuelle (CBT) via une nouvelle Grammaire de Schéma ("G"). Cette représentation structurée découple les invariants relationnels des entités visuelles spécifiques, fournissant une base rigoureuse pour la ré-instanciation logique transdomaine. Notre pipeline exécute le VMT via un système collaboratif d'agents spécialisés : un agent de perception qui distille la référence en un schéma, un agent de transfert qui préserve l'invariance de l'espace générique pour découvrir des porteurs appropriés, un agent de génération pour la synthèse haute fidélité et un agent de diagnostic hiérarchique qui imite un critique professionnel, effectuant une rétroaction en boucle fermée pour identifier et rectifier les erreurs au niveau de la logique abstraite, de la sélection des composants et de l'encodage des prompts. Des expériences approfondies et des évaluations humaines démontrent que notre méthode surpasse significativement les bases de référence de l'état de l'art en cohérence métaphorique, pertinence analogique et créativité visuelle, ouvrant la voie à des applications créatives automatisées à fort impact dans la publicité et les médias. Le code source sera rendu public.
English
A visual metaphor constitutes a high-order form of human creativity, employing cross-domain semantic fusion to transform abstract concepts into impactful visual rhetoric. Despite the remarkable progress of generative AI, existing models remain largely confined to pixel-level instruction alignment and surface-level appearance preservation, failing to capture the underlying abstract logic necessary for genuine metaphorical generation. To bridge this gap, we introduce the task of Visual Metaphor Transfer (VMT), which challenges models to autonomously decouple the "creative essence" from a reference image and re-materialize that abstract logic onto a user-specified target subject. We propose a cognitive-inspired, multi-agent framework that operationalizes Conceptual Blending Theory (CBT) through a novel Schema Grammar ("G"). This structured representation decouples relational invariants from specific visual entities, providing a rigorous foundation for cross-domain logic re-instantiation. Our pipeline executes VMT through a collaborative system of specialized agents: a perception agent that distills the reference into a schema, a transfer agent that maintains generic space invariance to discover apt carriers, a generation agent for high-fidelity synthesis and a hierarchical diagnostic agent that mimics a professional critic, performing closed-loop backtracking to identify and rectify errors across abstract logic, component selection, and prompt encoding. Extensive experiments and human evaluations demonstrate that our method significantly outperforms SOTA baselines in metaphor consistency, analogy appropriateness, and visual creativity, paving the way for automated high-impact creative applications in advertising and media. Source code will be made publicly available.