CineScale : Repas gratuit dans la génération visuelle cinématographique haute résolution

CineScale: Free Lunch in High-Resolution Cinematic Visual Generation

August 21, 2025

papers.authors: Haonan Qiu, Ning Yu, Ziqi Huang, Paul Debevec, Ziwei Liu

cs.AI

papers.abstract

Les modèles de diffusion visuelle réalisent des progrès remarquables, mais ils sont généralement entraînés à des résolutions limitées en raison du manque de données haute résolution et de ressources de calcul restreintes, ce qui entrave leur capacité à générer des images ou des vidéos haute fidélité à des résolutions plus élevées. Des efforts récents ont exploré des stratégies sans ajustement pour révéler le potentiel inexploité de génération visuelle à plus haute résolution des modèles pré-entraînés. Cependant, ces méthodes restent sujettes à produire un contenu visuel de faible qualité avec des motifs répétitifs. L'obstacle clé réside dans l'augmentation inévitable des informations haute fréquence lorsque le modèle génère un contenu visuel dépassant sa résolution d'entraînement, conduisant à des motifs répétitifs indésirables découlant des erreurs accumulées. Dans ce travail, nous proposons CineScale, un nouveau paradigme d'inférence pour permettre la génération visuelle à plus haute résolution. Pour résoudre les divers problèmes introduits par les deux types d'architectures de génération vidéo, nous proposons des variantes dédiées adaptées à chacune. Contrairement aux méthodes de référence existantes qui se limitent à la génération haute résolution T2I et T2V, CineScale élargit le champ d'application en permettant la synthèse haute résolution I2V et V2V, construite sur des frameworks de génération vidéo open-source de pointe. Des expériences approfondies valident la supériorité de notre paradigme pour étendre les capacités de génération visuelle à plus haute résolution pour les modèles d'images et de vidéos. De manière remarquable, notre approche permet la génération d'images 8k sans aucun ajustement fin, et atteint la génération de vidéos 4k avec seulement un ajustement fin minimal par LoRA. Des échantillons vidéo générés sont disponibles sur notre site web : https://eyeline-labs.github.io/CineScale/.

English

Visual diffusion models achieve remarkable progress, yet they are typically trained at limited resolutions due to the lack of high-resolution data and constrained computation resources, hampering their ability to generate high-fidelity images or videos at higher resolutions. Recent efforts have explored tuning-free strategies to exhibit the untapped potential higher-resolution visual generation of pre-trained models. However, these methods are still prone to producing low-quality visual content with repetitive patterns. The key obstacle lies in the inevitable increase in high-frequency information when the model generates visual content exceeding its training resolution, leading to undesirable repetitive patterns deriving from the accumulated errors. In this work, we propose CineScale, a novel inference paradigm to enable higher-resolution visual generation. To tackle the various issues introduced by the two types of video generation architectures, we propose dedicated variants tailored to each. Unlike existing baseline methods that are confined to high-resolution T2I and T2V generation, CineScale broadens the scope by enabling high-resolution I2V and V2V synthesis, built atop state-of-the-art open-source video generation frameworks. Extensive experiments validate the superiority of our paradigm in extending the capabilities of higher-resolution visual generation for both image and video models. Remarkably, our approach enables 8k image generation without any fine-tuning, and achieves 4k video generation with only minimal LoRA fine-tuning. Generated video samples are available at our website: https://eyeline-labs.github.io/CineScale/.