CineScale: Almoço Grátis na Geração de Visuais Cinematográficos de Alta Resolução

CineScale: Free Lunch in High-Resolution Cinematic Visual Generation

August 21, 2025

Autores: Haonan Qiu, Ning Yu, Ziqi Huang, Paul Debevec, Ziwei Liu

cs.AI

Resumo

Os modelos de difusão visual alcançam progressos notáveis, mas geralmente são treinados em resoluções limitadas devido à escassez de dados de alta resolução e recursos computacionais restritos, o que prejudica sua capacidade de gerar imagens ou vídeos de alta fidelidade em resoluções mais elevadas. Esforços recentes exploraram estratégias sem ajuste para revelar o potencial inexplorado de geração visual em alta resolução de modelos pré-treinados. No entanto, esses métodos ainda tendem a produzir conteúdo visual de baixa qualidade com padrões repetitivos. O principal obstáculo reside no aumento inevitável de informações de alta frequência quando o modelo gera conteúdo visual que excede sua resolução de treinamento, levando a padrões repetitivos indesejáveis decorrentes de erros acumulados. Neste trabalho, propomos o CineScale, um novo paradigma de inferência para permitir a geração visual em alta resolução. Para abordar os diversos problemas introduzidos pelos dois tipos de arquiteturas de geração de vídeo, propomos variantes dedicadas adaptadas a cada uma. Diferente dos métodos de linha de base existentes, que se limitam à geração de T2I (texto para imagem) e T2V (texto para vídeo) em alta resolução, o CineScale amplia o escopo ao permitir a síntese de I2V (imagem para vídeo) e V2V (vídeo para vídeo) em alta resolução, construído sobre frameworks de geração de vídeo de código aberto de última geração. Experimentos extensivos validam a superioridade de nosso paradigma em estender as capacidades de geração visual em alta resolução tanto para modelos de imagem quanto de vídeo. Notavelmente, nossa abordagem permite a geração de imagens em 8k sem qualquer ajuste fino e alcança a geração de vídeos em 4k com apenas um ajuste mínimo via LoRA. Amostras de vídeos gerados estão disponíveis em nosso site: https://eyeline-labs.github.io/CineScale/.

English

Visual diffusion models achieve remarkable progress, yet they are typically trained at limited resolutions due to the lack of high-resolution data and constrained computation resources, hampering their ability to generate high-fidelity images or videos at higher resolutions. Recent efforts have explored tuning-free strategies to exhibit the untapped potential higher-resolution visual generation of pre-trained models. However, these methods are still prone to producing low-quality visual content with repetitive patterns. The key obstacle lies in the inevitable increase in high-frequency information when the model generates visual content exceeding its training resolution, leading to undesirable repetitive patterns deriving from the accumulated errors. In this work, we propose CineScale, a novel inference paradigm to enable higher-resolution visual generation. To tackle the various issues introduced by the two types of video generation architectures, we propose dedicated variants tailored to each. Unlike existing baseline methods that are confined to high-resolution T2I and T2V generation, CineScale broadens the scope by enabling high-resolution I2V and V2V synthesis, built atop state-of-the-art open-source video generation frameworks. Extensive experiments validate the superiority of our paradigm in extending the capabilities of higher-resolution visual generation for both image and video models. Remarkably, our approach enables 8k image generation without any fine-tuning, and achieves 4k video generation with only minimal LoRA fine-tuning. Generated video samples are available at our website: https://eyeline-labs.github.io/CineScale/.