LongAnimation: Generazione di Animazioni Lunghe con Memoria Dinamica Globale-Locale

LongAnimation: Long Animation Generation with Dynamic Global-Local Memory

July 2, 2025

Autori: Nan Chen, Mengqi Huang, Yihao Meng, Zhendong Mao

cs.AI

Abstract

La colorizzazione delle animazioni è una parte cruciale della produzione industriale delle animazioni reali. La colorizzazione di animazioni lunghe comporta costi di manodopera elevati. Pertanto, l'automazione della colorizzazione di animazioni lunghe basata su modelli di generazione video ha un significativo valore di ricerca. Gli studi esistenti si limitano alla colorizzazione a breve termine. Questi studi adottano un paradigma locale, fondendo caratteristiche sovrapposte per ottenere transizioni fluide tra segmenti locali. Tuttavia, il paradigma locale trascura le informazioni globali, non riuscendo a mantenere una consistenza cromatica a lungo termine. In questo studio, sosteniamo che una consistenza cromatica ideale a lungo termine può essere raggiunta attraverso un paradigma globale-locale dinamico, ovvero estraendo dinamicamente caratteristiche globali coerenti con il colore rilevanti per la generazione corrente. Nello specifico, proponiamo LongAnimation, un nuovo framework che include principalmente uno SketchDiT, una Memoria Globale-Locale Dinamica (DGLM) e un Premio per la Coerenza Cromatica. Lo SketchDiT cattura caratteristiche di riferimento ibride per supportare il modulo DGLM. Il modulo DGLM utilizza un modello di comprensione video lungo per comprimere dinamicamente le caratteristiche storiche globali e fondere adattivamente con le caratteristiche della generazione corrente. Per affinare la coerenza cromatica, introduciamo un Premio per la Coerenza Cromatica. Durante l'inferenza, proponiamo una fusione di coerenza cromatica per rendere fluida la transizione tra segmenti video. Esperimenti estesi su animazioni a breve termine (14 fotogrammi) e a lungo termine (media di 500 fotogrammi) dimostrano l'efficacia di LongAnimation nel mantenere la coerenza cromatica a breve e lungo termine per il compito di colorizzazione di animazioni in dominio aperto. Il codice è disponibile all'indirizzo https://cn-makers.github.io/long_animation_web/.

English

Animation colorization is a crucial part of real animation industry production. Long animation colorization has high labor costs. Therefore, automated long animation colorization based on the video generation model has significant research value. Existing studies are limited to short-term colorization. These studies adopt a local paradigm, fusing overlapping features to achieve smooth transitions between local segments. However, the local paradigm neglects global information, failing to maintain long-term color consistency. In this study, we argue that ideal long-term color consistency can be achieved through a dynamic global-local paradigm, i.e., dynamically extracting global color-consistent features relevant to the current generation. Specifically, we propose LongAnimation, a novel framework, which mainly includes a SketchDiT, a Dynamic Global-Local Memory (DGLM), and a Color Consistency Reward. The SketchDiT captures hybrid reference features to support the DGLM module. The DGLM module employs a long video understanding model to dynamically compress global historical features and adaptively fuse them with the current generation features. To refine the color consistency, we introduce a Color Consistency Reward. During inference, we propose a color consistency fusion to smooth the video segment transition. Extensive experiments on both short-term (14 frames) and long-term (average 500 frames) animations show the effectiveness of LongAnimation in maintaining short-term and long-term color consistency for open-domain animation colorization task. The code can be found at https://cn-makers.github.io/long_animation_web/.