UniGeo: Unificatie van Geometrische Sturing voor Camera-Bestuurbare Beeldbewerking via Videomodellen
UniGeo: Unifying Geometric Guidance for Camera-Controllable Image Editing via Video Models
April 19, 2026
Auteurs: Hong Jiang, Wensong Song, Zongxing Yang, Ruijie Quan, Yi Yang
cs.AI
Samenvatting
Camera-stuurbaar beeldbewerking heeft als doel nieuwe aanzichten van een gegeven scène te synthetiseren onder variërende cameraposities, waarbij strikt cross-view geometrische consistentie wordt behouden. Bestaande methodes steunen echter typisch op gefragmenteerde geometrische begeleiding, zoals het alleen injecteren van puntwolken op representatieniveau ondanks dat modellen meerdere niveaus bevatten, en zijn voornamelijk gebaseerd op beeld-diffusiemodellen die opereren op discrete view mappings. Deze twee beperkingen leiden gezamenlijk tot geometrische drift en structurele degradatie onder continue camerabeweging.
Wij observeren dat hoewel het benutten van videomodellen continue viewpoint-priors biedt voor camera-stuurbare beeldbewerking, zij nog steeds moeite hebben om een stabiel geometrisch begrip te vormen als de geometrische begeleiding gefragmenteerd blijft. Om dit systematisch aan te pakken, injecteren wij verenigde geometrische begeleiding over drie niveaus die gezamenlijk de generatieve output bepalen: representatie, architectuur en verliesfunctie.
Hiertoe stellen wij UniGeo voor, een nieuw kader voor camera-stuurbare beeldbewerking. Specifiek integreert UniGeo op representatieniveau een frame-ontkoppeld geometrisch referentie-injectiemechanisme om robuuste cross-view geometriecontext te bieden. Op architectuurniveau introduceert het geometrische anker-attentie om multi-view features uit te lijnen. Op verliesfunctieniveau stelt het een traject-eindpunt geometrische supervisiestrategie voor om de structurele geloofwaardigheid van doelaanzichten expliciet te versterken.
Uitgebreide experimenten op meerdere publieke benchmarks, die zowel uitgebreide als beperkte camerabewegingssettings omvatten, tonen aan dat UniGeo bestaande methodes significant overtreft in zowel visuele kwaliteit als geometrische consistentie.
English
Camera-controllable image editing aims to synthesize novel views of a given scene under varying camera poses while strictly preserving cross-view geometric consistency. However, existing methods typically rely on fragmented geometric guidance, such as only injecting point clouds at the representation level despite models containing multiple levels, and are mainly based on image diffusion models that operate on discrete view mappings. These two limitations jointly lead to geometric drift and structural degradation under continuous camera motion.
We observe that while leveraging video models provides continuous viewpoint priors for camera-controllable image editing, they still struggle to form stable geometric understanding if geometric guidance remains fragmented. To systematically address this, we inject unified geometric guidance across three levels that jointly determine the generative output: representation, architecture, and loss function.
To this end, we propose UniGeo, a novel camera-controllable editing framework. Specifically, at the representation level, UniGeo incorporates a frame-decoupled geometric reference injection mechanism to provide robust cross-view geometry context. At the architecture level, it introduces geometric anchor attention to align multi-view features. At the loss function level, it proposes a trajectory-endpoint geometric supervision strategy to explicitly reinforce the structural fidelity of target views.
Comprehensive experiments across multiple public benchmarks, encompassing both extensive and limited camera motion settings, demonstrate that UniGeo significantly outperforms existing methods in both visual quality and geometric consistency.