4RC: 4D-reconstructie via conditionele querying altijd en overal
4RC: 4D Reconstruction via Conditional Querying Anytime and Anywhere
February 10, 2026
Auteurs: Yihang Luo, Shangchen Zhou, Yushi Lan, Xingang Pan, Chen Change Loy
cs.AI
Samenvatting
Wij presenteren 4RC, een uniform feed-forward raamwerk voor 4D-reconstructie vanuit monoculaire video's. In tegenstelling tot bestaande benaderingen die beweging typisch ontkoppelen van geometrie of slechts beperkte 4D-attributen produceren, zoals sparse trajectoriën of tweebeeld scèneflow, leert 4RC een holistische 4D-representatie die dichte scènegeometrie en bewegingsdynamica gezamenlijk vastlegt. De kern van 4RC introduceert een nieuw 'encode-once, query-anywhere and anytime'-paradigma: een transformer-backbone codeert de volledige video in een compacte spatio-temporele latente ruimte, waaruit een conditionele decoder efficiënt 3D-geometrie en beweging kan opvragen voor elk query-frame op elk gewenst tijdstip. Om het leren te vergemakkelijken, representeren we 4D-attributen per viewpoint in een minimaal gefactoriseerde vorm door ze te decomponeren in basisgeometrie en tijd-afhankelijke relatieve beweging. Uitgebreide experimenten tonen aan dat 4RC eerdere en gelijktijdige methoden overtreft bij een breed scala aan 4D-reconstructietaken.
English
We present 4RC, a unified feed-forward framework for 4D reconstruction from monocular videos. Unlike existing approaches that typically decouple motion from geometry or produce limited 4D attributes such as sparse trajectories or two-view scene flow, 4RC learns a holistic 4D representation that jointly captures dense scene geometry and motion dynamics. At its core, 4RC introduces a novel encode-once, query-anywhere and anytime paradigm: a transformer backbone encodes the entire video into a compact spatio-temporal latent space, from which a conditional decoder can efficiently query 3D geometry and motion for any query frame at any target timestamp. To facilitate learning, we represent per-view 4D attributes in a minimally factorized form by decomposing them into base geometry and time-dependent relative motion. Extensive experiments demonstrate that 4RC outperforms prior and concurrent methods across a wide range of 4D reconstruction tasks.