PhysChoreo: Fysica-gestuurde videogeneratie met deelbewuste semantische verankering
PhysChoreo: Physics-Controllable Video Generation with Part-Aware Semantic Grounding
November 25, 2025
Auteurs: Haoze Zhang, Tianyu Huang, Zichen Wan, Xiaowei Jin, Hongzhi Zhang, Hui Li, Wangmeng Zuo
cs.AI
Samenvatting
Hoewel recente videogeneratiemodellen aanzienlijke visuele nauwkeurigheid hebben bereikt, lijden ze vaak onder een gebrek aan expliciete fysieke bestuurbaarheid en geloofwaardigheid. Om dit aan te pakken, hebben enkele recente onderzoeken geprobeerd de videogeneratie te sturen met op fysica gebaseerde rendering. Deze methoden kampen echter met inherente uitdagingen bij het nauwkeurig modelleren van complexe fysische eigenschappen en het effectief beheersen van het resulterende fysieke gedrag over langere temporele sequenties. In dit werk introduceren we PhysChoreo, een nieuw framework dat vanuit één enkele afbeelding video's kan genereren met diverse bestuurbaarheid en fysieke realisme. Onze methode bestaat uit twee fasen: eerst schat het de statische initiële fysische eigenschappen van alle objecten in de afbeelding in via deelbewuste reconstructie van fysische eigenschappen. Vervolgens synthetiseert het via tijdelijk geïnstrueerde en fysiek bewerkbare simulatie hoogwaardige video's met rijk dynamisch gedrag en fysieke realisme. Experimentele resultaten tonen aan dat PhysChoreo video's kan genereren met rijk gedrag en fysieke realisme, en state-of-the-art methoden overtreft op meerdere evaluatiemetrics.
English
While recent video generation models have achieved significant visual fidelity, they often suffer from the lack of explicit physical controllability and plausibility. To address this, some recent studies attempted to guide the video generation with physics-based rendering. However, these methods face inherent challenges in accurately modeling complex physical properties and effectively control ling the resulting physical behavior over extended temporal sequences. In this work, we introduce PhysChoreo, a novel framework that can generate videos with diverse controllability and physical realism from a single image. Our method consists of two stages: first, it estimates the static initial physical properties of all objects in the image through part-aware physical property reconstruction. Then, through temporally instructed and physically editable simulation, it synthesizes high-quality videos with rich dynamic behaviors and physical realism. Experimental results show that PhysChoreo can generate videos with rich behaviors and physical realism, outperforming state-of-the-art methods on multiple evaluation metrics.