CineScale: Бесплатный обед в генерации высококачественных кинематографических визуалов

CineScale: Free Lunch in High-Resolution Cinematic Visual Generation

August 21, 2025

Авторы: Haonan Qiu, Ning Yu, Ziqi Huang, Paul Debevec, Ziwei Liu

cs.AI

Аннотация

Визуальные диффузионные модели демонстрируют впечатляющий прогресс, однако они обычно обучаются на ограниченных разрешениях из-за недостатка высококачественных данных и ограниченных вычислительных ресурсов, что препятствует их способности генерировать изображения или видео высокой четкости на более высоких разрешениях. Недавние исследования были направлены на изучение стратегий без дополнительной настройки, чтобы раскрыть неиспользованный потенциал генерации визуального контента с более высоким разрешением на основе предобученных моделей. Однако эти методы по-прежнему склонны создавать низкокачественный визуальный контент с повторяющимися паттернами. Основное препятствие заключается в неизбежном увеличении высокочастотной информации, когда модель генерирует визуальный контент, превышающий её обучающее разрешение, что приводит к нежелательным повторяющимся паттернам, возникающим из-за накопленных ошибок. В данной работе мы предлагаем CineScale — новый подход к выводу, который позволяет генерировать визуальный контент с более высоким разрешением. Для решения различных проблем, связанных с двумя типами архитектур генерации видео, мы предлагаем специализированные варианты, адаптированные для каждого из них. В отличие от существующих базовых методов, ограниченных генерацией изображений и видео с высоким разрешением (T2I и T2V), CineScale расширяет возможности, позволяя синтезировать видео с высоким разрешением на основе изображений (I2V) и видео (V2V), используя современные открытые фреймворки для генерации видео. Многочисленные эксперименты подтверждают превосходство нашего подхода в расширении возможностей генерации визуального контента с более высоким разрешением как для моделей изображений, так и для видео. Примечательно, что наш метод позволяет генерировать изображения с разрешением 8k без дополнительной настройки и достигать генерации видео с разрешением 4k при минимальной донастройке с использованием LoRA. Примеры сгенерированных видео доступны на нашем сайте: https://eyeline-labs.github.io/CineScale/.

English

Visual diffusion models achieve remarkable progress, yet they are typically trained at limited resolutions due to the lack of high-resolution data and constrained computation resources, hampering their ability to generate high-fidelity images or videos at higher resolutions. Recent efforts have explored tuning-free strategies to exhibit the untapped potential higher-resolution visual generation of pre-trained models. However, these methods are still prone to producing low-quality visual content with repetitive patterns. The key obstacle lies in the inevitable increase in high-frequency information when the model generates visual content exceeding its training resolution, leading to undesirable repetitive patterns deriving from the accumulated errors. In this work, we propose CineScale, a novel inference paradigm to enable higher-resolution visual generation. To tackle the various issues introduced by the two types of video generation architectures, we propose dedicated variants tailored to each. Unlike existing baseline methods that are confined to high-resolution T2I and T2V generation, CineScale broadens the scope by enabling high-resolution I2V and V2V synthesis, built atop state-of-the-art open-source video generation frameworks. Extensive experiments validate the superiority of our paradigm in extending the capabilities of higher-resolution visual generation for both image and video models. Remarkably, our approach enables 8k image generation without any fine-tuning, and achieves 4k video generation with only minimal LoRA fine-tuning. Generated video samples are available at our website: https://eyeline-labs.github.io/CineScale/.