Más Allá de los Píxeles: Transferencia de Metáforas Visuales mediante Razonamiento Agéntico Basado en Esquemas

Beyond Pixels: Visual Metaphor Transfer via Schema-Driven Agentic Reasoning

February 1, 2026

Autores: Yu Xu, Yuxin Zhang, Juan Cao, Lin Gao, Chunyu Wang, Oliver Deussen, Tong-Yee Lee, Fan Tang

cs.AI

Resumen

Una metáfora visual constituye una forma de alto orden de la creatividad humana, que emplea la fusión semántica interdominial para transformar conceptos abstractos en una retórica visual impactante. A pesar del notable progreso de la IA generativa, los modelos existentes siguen confinados en gran medida a la alineación de instrucciones a nivel de píxeles y a la preservación de la apariencia superficial, sin lograr capturar la lógica abstracta subyacente necesaria para una generación metafórica genuina. Para salvar esta brecha, presentamos la tarea de Transferencia de Metáfora Visual (VMT), que desafía a los modelos a desacoplar autónomamente la "esencia creativa" de una imagen de referencia y rematerializar esa lógica abstracta en un sujeto objetivo especificado por el usuario. Proponemos un marco multiagente de inspiración cognitiva que operacionaliza la Teoría de la Integración Conceptual (CBT) mediante una novedosa Gramática de Esquemas ("G"). Esta representación estructurada desacopla los invariantes relacionales de entidades visuales específicas, proporcionando una base rigurosa para la reinstanciación lógica interdominial. Nuestra canalización ejecuta la VMT mediante un sistema colaborativo de agentes especializados: un agente de percepción que destila la referencia en un esquema, un agente de transferencia que mantiene la invariancia del espacio genérico para descubrir portadores aptos, un agente de generación para la síntesis de alta fidelidad y un agente de diagnóstico jerárquico que imita a un crítico profesional, realizando una retroalimentación en bucle cerrado para identificar y rectificar errores en la lógica abstracta, la selección de componentes y la codificación de instrucciones. Experimentos exhaustivos y evaluaciones humanas demuestran que nuestro método supera significativamente a los baselines state-of-the-art en coherencia metafórica, adecuación analógica y creatividad visual, allanando el camino para aplicaciones creativas automatizadas de alto impacto en publicidad y medios. El código fuente estará disponible públicamente.

English

A visual metaphor constitutes a high-order form of human creativity, employing cross-domain semantic fusion to transform abstract concepts into impactful visual rhetoric. Despite the remarkable progress of generative AI, existing models remain largely confined to pixel-level instruction alignment and surface-level appearance preservation, failing to capture the underlying abstract logic necessary for genuine metaphorical generation. To bridge this gap, we introduce the task of Visual Metaphor Transfer (VMT), which challenges models to autonomously decouple the "creative essence" from a reference image and re-materialize that abstract logic onto a user-specified target subject. We propose a cognitive-inspired, multi-agent framework that operationalizes Conceptual Blending Theory (CBT) through a novel Schema Grammar ("G"). This structured representation decouples relational invariants from specific visual entities, providing a rigorous foundation for cross-domain logic re-instantiation. Our pipeline executes VMT through a collaborative system of specialized agents: a perception agent that distills the reference into a schema, a transfer agent that maintains generic space invariance to discover apt carriers, a generation agent for high-fidelity synthesis and a hierarchical diagnostic agent that mimics a professional critic, performing closed-loop backtracking to identify and rectify errors across abstract logic, component selection, and prompt encoding. Extensive experiments and human evaluations demonstrate that our method significantly outperforms SOTA baselines in metaphor consistency, analogy appropriateness, and visual creativity, paving the way for automated high-impact creative applications in advertising and media. Source code will be made publicly available.