CineScale: Gratis Voordeel in Hoogwaardige Cinematische Visuele Generatie

CineScale: Free Lunch in High-Resolution Cinematic Visual Generation

August 21, 2025

Auteurs: Haonan Qiu, Ning Yu, Ziqi Huang, Paul Debevec, Ziwei Liu

cs.AI

Samenvatting

Visuele diffusiemodellen boeken opmerkelijke vooruitgang, maar worden doorgaans getraind op beperkte resoluties vanwege het gebrek aan hoogresolutiegegevens en beperkte rekenbronnen, wat hun vermogen om hoogwaardige afbeeldingen of video's op hogere resoluties te genereren belemmert. Recente inspanningen hebben tuningvrije strategieën onderzocht om het onbenutte potentieel voor hogere-resolutie visuele generatie van vooraf getrainde modellen te benutten. Deze methoden zijn echter nog steeds gevoelig voor het produceren van visuele inhoud van lage kwaliteit met repetitieve patronen. Het belangrijkste obstakel ligt in de onvermijdelijke toename van hoogfrequente informatie wanneer het model visuele inhoud genereert die de trainingsresolutie overschrijdt, wat leidt tot ongewenste repetitieve patronen als gevolg van opgestapelde fouten. In dit werk stellen we CineScale voor, een nieuw inferentieparadigma om hogere-resolutie visuele generatie mogelijk te maken. Om de verschillende problemen aan te pakken die worden geïntroduceerd door de twee typen videogeneratie-architecturen, stellen we specifieke varianten voor die op maat zijn gemaakt voor elk. In tegenstelling tot bestaande baseline-methoden die beperkt zijn tot hoogresolutie T2I- en T2V-generatie, breidt CineScale het bereik uit door hoogresolutie I2V- en V2V-synthese mogelijk te maken, gebouwd op state-of-the-art open-source videogeneratie-frameworks. Uitgebreide experimenten valideren de superioriteit van ons paradigma in het uitbreiden van de mogelijkheden voor hogere-resolutie visuele generatie voor zowel beeld- als videomodellen. Opmerkelijk is dat onze aanpak 8k-beeldgeneratie mogelijk maakt zonder enige fine-tuning, en 4k-videogeneratie bereikt met slechts minimale LoRA-fine-tuning. Geproduceerde videovoorbeelden zijn beschikbaar op onze website: https://eyeline-labs.github.io/CineScale/.

English

Visual diffusion models achieve remarkable progress, yet they are typically trained at limited resolutions due to the lack of high-resolution data and constrained computation resources, hampering their ability to generate high-fidelity images or videos at higher resolutions. Recent efforts have explored tuning-free strategies to exhibit the untapped potential higher-resolution visual generation of pre-trained models. However, these methods are still prone to producing low-quality visual content with repetitive patterns. The key obstacle lies in the inevitable increase in high-frequency information when the model generates visual content exceeding its training resolution, leading to undesirable repetitive patterns deriving from the accumulated errors. In this work, we propose CineScale, a novel inference paradigm to enable higher-resolution visual generation. To tackle the various issues introduced by the two types of video generation architectures, we propose dedicated variants tailored to each. Unlike existing baseline methods that are confined to high-resolution T2I and T2V generation, CineScale broadens the scope by enabling high-resolution I2V and V2V synthesis, built atop state-of-the-art open-source video generation frameworks. Extensive experiments validate the superiority of our paradigm in extending the capabilities of higher-resolution visual generation for both image and video models. Remarkably, our approach enables 8k image generation without any fine-tuning, and achieves 4k video generation with only minimal LoRA fine-tuning. Generated video samples are available at our website: https://eyeline-labs.github.io/CineScale/.