UniGeo : Unification du guidage géométrique pour l'édition d'image contrôlable par caméra via des modèles vidéo

Résumé

L'édition d'image contrôlable par caméra vise à synthétiser de nouvelles vues d'une scène donnée sous différentes poses de caméra, tout en préservant strictement la cohérence géométrique inter-vues. Cependant, les méthodes existantes reposent généralement sur des guidages géométriques fragmentés, comme l'injection de nuages de points uniquement au niveau de la représentation, bien que les modèles contiennent plusieurs niveaux, et sont principalement basées sur des modèles de diffusion d'image qui opèrent sur des mappages de vues discrets. Ces deux limitations conduisent conjointement à une dérive géométrique et une dégradation structurelle sous un mouvement continu de la caméra. Nous observons que si l'exploitation de modèles vidéo fournit des a priori de point de vue continus pour l'édition d'image contrôlable par caméra, ils peinent encore à former une compréhension géométrique stable si le guidage géométrique reste fragmenté. Pour résoudre ce problème systématiquement, nous injectons un guidage géométrique unifié à travers trois niveaux qui déterminent conjointement la sortie générative : la représentation, l'architecture et la fonction de perte. À cette fin, nous proposons UniGeo, un nouveau cadre d'édition contrôlable par caméra. Plus précisément, au niveau de la représentation, UniGeo intègre un mécanisme d'injection de référence géométrique à trames découplées pour fournir un contexte géométrique inter-vues robuste. Au niveau de l'architecture, il introduit une attention d'ancrage géométrique pour aligner les caractéristiques multi-vues. Au niveau de la fonction de perte, il propose une stratégie de supervision géométrique par points de trajectoire pour renforcer explicitement la fidélité structurelle des vues cibles. Des expériences approfondies sur plusieurs benchmarks publics, couvrant à la fois des paramètres de mouvement de caméra étendus et limités, démontrent qu'UniGeo surpasse significativement les méthodes existantes tant en qualité visuelle qu'en cohérence géométrique.

English

Camera-controllable image editing aims to synthesize novel views of a given scene under varying camera poses while strictly preserving cross-view geometric consistency. However, existing methods typically rely on fragmented geometric guidance, such as only injecting point clouds at the representation level despite models containing multiple levels, and are mainly based on image diffusion models that operate on discrete view mappings. These two limitations jointly lead to geometric drift and structural degradation under continuous camera motion. We observe that while leveraging video models provides continuous viewpoint priors for camera-controllable image editing, they still struggle to form stable geometric understanding if geometric guidance remains fragmented. To systematically address this, we inject unified geometric guidance across three levels that jointly determine the generative output: representation, architecture, and loss function. To this end, we propose UniGeo, a novel camera-controllable editing framework. Specifically, at the representation level, UniGeo incorporates a frame-decoupled geometric reference injection mechanism to provide robust cross-view geometry context. At the architecture level, it introduces geometric anchor attention to align multi-view features. At the loss function level, it proposes a trajectory-endpoint geometric supervision strategy to explicitly reinforce the structural fidelity of target views. Comprehensive experiments across multiple public benchmarks, encompassing both extensive and limited camera motion settings, demonstrate that UniGeo significantly outperforms existing methods in both visual quality and geometric consistency.