CineScale: Kostenloses Mittagessen bei der Erzeugung hochauflösender filmischer Visuals

CineScale: Free Lunch in High-Resolution Cinematic Visual Generation

August 21, 2025

papers.authors: Haonan Qiu, Ning Yu, Ziqi Huang, Paul Debevec, Ziwei Liu

cs.AI

papers.abstract

Visuelle Diffusionsmodelle erzielen bemerkenswerte Fortschritte, werden jedoch typischerweise mit begrenzten Auflösungen trainiert, was auf den Mangel an hochauflösenden Daten und eingeschränkte Rechenressourcen zurückzuführen ist. Dies beeinträchtigt ihre Fähigkeit, hochwertige Bilder oder Videos in höheren Auflösungen zu erzeugen. Jüngste Bemühungen haben tuningfreie Strategien erforscht, um das ungenutzte Potenzial der höherauflösenden visuellen Generierung von vortrainierten Modellen zu erschließen. Diese Methoden neigen jedoch immer noch dazu, visuelle Inhalte mit repetitiven Mustern und geringer Qualität zu erzeugen. Das Hauptproblem liegt in der unvermeidlichen Zunahme von Hochfrequenzinformationen, wenn das Modell visuelle Inhalte erzeugt, die seine Trainingsauflösung überschreiten, was zu unerwünschten repetitiven Mustern führt, die sich aus akkumulierten Fehlern ergeben. In dieser Arbeit stellen wir CineScale vor, ein neuartiges Inferenzparadigma, das die höherauflösende visuelle Generierung ermöglicht. Um die verschiedenen Probleme zu bewältigen, die durch die beiden Arten von Video-Generierungsarchitekturen eingeführt werden, schlagen wir spezielle Varianten vor, die auf jede zugeschnitten sind. Im Gegensatz zu bestehenden Basismethoden, die auf die hochauflösende T2I- und T2V-Generierung beschränkt sind, erweitert CineScale den Anwendungsbereich durch die Ermöglichung der hochauflösenden I2V- und V2V-Synthese, die auf modernsten Open-Source-Video-Generierungsframeworks basiert. Umfangreiche Experimente bestätigen die Überlegenheit unseres Paradigmas bei der Erweiterung der Fähigkeiten der höherauflösenden visuellen Generierung sowohl für Bild- als auch für Videomodelle. Bemerkenswerterweise ermöglicht unser Ansatz die 8k-Bildgenerierung ohne jegliches Fine-Tuning und erreicht die 4k-Videogenerierung mit nur minimalem LoRA-Fine-Tuning. Generierte Videobeispiele sind auf unserer Website verfügbar: https://eyeline-labs.github.io/CineScale/.

English

Visual diffusion models achieve remarkable progress, yet they are typically trained at limited resolutions due to the lack of high-resolution data and constrained computation resources, hampering their ability to generate high-fidelity images or videos at higher resolutions. Recent efforts have explored tuning-free strategies to exhibit the untapped potential higher-resolution visual generation of pre-trained models. However, these methods are still prone to producing low-quality visual content with repetitive patterns. The key obstacle lies in the inevitable increase in high-frequency information when the model generates visual content exceeding its training resolution, leading to undesirable repetitive patterns deriving from the accumulated errors. In this work, we propose CineScale, a novel inference paradigm to enable higher-resolution visual generation. To tackle the various issues introduced by the two types of video generation architectures, we propose dedicated variants tailored to each. Unlike existing baseline methods that are confined to high-resolution T2I and T2V generation, CineScale broadens the scope by enabling high-resolution I2V and V2V synthesis, built atop state-of-the-art open-source video generation frameworks. Extensive experiments validate the superiority of our paradigm in extending the capabilities of higher-resolution visual generation for both image and video models. Remarkably, our approach enables 8k image generation without any fine-tuning, and achieves 4k video generation with only minimal LoRA fine-tuning. Generated video samples are available at our website: https://eyeline-labs.github.io/CineScale/.