Jenseits der Pixel: Transfer visueller Metaphern durch schema-gesteuertes agentisches Denken
Beyond Pixels: Visual Metaphor Transfer via Schema-Driven Agentic Reasoning
February 1, 2026
papers.authors: Yu Xu, Yuxin Zhang, Juan Cao, Lin Gao, Chunyu Wang, Oliver Deussen, Tong-Yee Lee, Fan Tang
cs.AI
papers.abstract
Ein visuelles Metapher stellt eine hochgradige Form menschlicher Kreativität dar, die domänenübergreifende semantische Fusion nutzt, um abstrakte Konzepte in wirkungsvolle visuelle Rhetorik zu transformieren. Trotz der bemerkenswerten Fortschritte generativer KI bleiben bestehende Modelle weitgehend auf Pixel-basierte Befehlsausrichtung und oberflächliche Darstellungserhaltung beschränkt und erfassen nicht die zugrundeliegende abstrakte Logik, die für echte metaphorische Generierung notwendig ist. Um diese Lücke zu schließen, führen wir die Aufgabe des Visuellen Metapher-Transfers (VMT) ein, die Modelle dazu herausfordert, das "kreative Wesen" autonom von einem Referenzbild zu entkoppeln und diese abstrakte Logik auf ein benutzerdefiniertes Zielsubjekt neu zu materialisieren. Wir schlagen einen kognitionsinspirierten, Multi-Agenten-Ansatz vor, der die Conceptual Blending Theory (CBT) durch eine neuartige Schema-Grammatik ("G") operationalisiert. Diese strukturierte Repräsentation entkoppelt relationale Invarianten von spezifischen visuellen Entitäten und bietet eine rigorose Grundlage für domänenübergreifende Logik-Reinstanziierung. Unsere Pipeline führt VMT durch ein kollaboratives System spezialisierter Agenten aus: einen Wahrnehmungs-Agenten, der die Referenz in ein Schema destilliert, einen Transfer-Agenten, der Invarianz im generischen Raum aufrechterhält, um geeignete Träger zu entdecken, einen Generierungs-Agenten für hochwertige Synthese und einen hierarchischen Diagnose-Agenten, der einem professionellen Kritiker nachempfunden ist und Closed-Loop-Rückverfolgung durchführt, um Fehler in abstrakter Logik, Komponentenauswahl und Prompt-Codierung zu identifizieren und zu korrigieren. Umfangreiche Experimente und menschliche Evaluationen zeigen, dass unsere Methode state-of-the-art Baseline-Verfahren in metaphorischer Konsistenz, Analogieangemessenheit und visueller Kreativität signifikant übertrifft und den Weg für automatisierte, kreative Hochimpact-Anwendungen in Werbung und Medien ebnet. Der Quellcode wird öffentlich verfügbar gemacht.
English
A visual metaphor constitutes a high-order form of human creativity, employing cross-domain semantic fusion to transform abstract concepts into impactful visual rhetoric. Despite the remarkable progress of generative AI, existing models remain largely confined to pixel-level instruction alignment and surface-level appearance preservation, failing to capture the underlying abstract logic necessary for genuine metaphorical generation. To bridge this gap, we introduce the task of Visual Metaphor Transfer (VMT), which challenges models to autonomously decouple the "creative essence" from a reference image and re-materialize that abstract logic onto a user-specified target subject. We propose a cognitive-inspired, multi-agent framework that operationalizes Conceptual Blending Theory (CBT) through a novel Schema Grammar ("G"). This structured representation decouples relational invariants from specific visual entities, providing a rigorous foundation for cross-domain logic re-instantiation. Our pipeline executes VMT through a collaborative system of specialized agents: a perception agent that distills the reference into a schema, a transfer agent that maintains generic space invariance to discover apt carriers, a generation agent for high-fidelity synthesis and a hierarchical diagnostic agent that mimics a professional critic, performing closed-loop backtracking to identify and rectify errors across abstract logic, component selection, and prompt encoding. Extensive experiments and human evaluations demonstrate that our method significantly outperforms SOTA baselines in metaphor consistency, analogy appropriateness, and visual creativity, paving the way for automated high-impact creative applications in advertising and media. Source code will be made publicly available.