Klear: Geração Conjunta Áudio-Vídeo Unificada em Múltiplas Tarefas
Klear: Unified Multi-Task Audio-Video Joint Generation
January 7, 2026
Autores: Jun Wang, Chunyu Qiang, Yuxin Guo, Yiran Wang, Xijuan Zeng, Chen Zhang, Pengfei Wan
cs.AI
Resumo
A geração conjunta de áudio e vídeo progrediu rapidamente, mas desafios substanciais ainda persistem. Abordagens não comerciais ainda sofrem com assincronia áudio-visual, baixo alinhamento labial-fala e degradação unimodal, problemas que podem ser originados pela modelagem fraca de correspondência áudio-visual, generalização limitada e escassez de dados de alta qualidade com legendas densas. Para resolver essas questões, apresentamos o Klear e nos aprofundamos em três eixos: arquitetura do modelo, estratégia de treinamento e curadoria de dados.
Arquitetonicamente, adotamos um design de torre única com blocos DiT unificados e um mecanismo de Atenção Completa Omni, alcançando um alinhamento áudio-visual rigoroso e alta escalabilidade. Quanto ao treinamento, adotamos um regime progressivo de múltiplas tarefas—com mascaramento aleatório de modalidades para otimização conjunta entre tarefas—e um currículo multietapas, produzindo representações robustas, fortalecendo o conhecimento alinhado áudio-visual e prevenindo colapso unimodal.
Para conjuntos de dados, apresentamos o primeiro grande conjunto de dados áudio-vídeo com legendas densas e introduzimos um pipeline inédito e automatizado de construção de dados que anota e filtra milhões de trios áudio-vídeo-legenda diversos, de alta qualidade e estritamente alinhados. Com base nisso, o Klear escala para grandes conjuntos de dados, proporcionando geração de alta fidelidade, semanticamente e temporalmente alinhada, e que segue instruções em configurações conjuntas e unimodais, enquanto generaliza robustamente para cenários fora da distribuição original. Em diversas tarefas, ele supera substancialmente os métodos anteriores por uma grande margem e alcança desempenho comparável ao Veo 3, oferecendo um caminho unificado e escalável para a síntese de áudio e vídeo de próxima geração.
English
Audio-video joint generation has progressed rapidly, yet substantial challenges still remain. Non-commercial approaches still suffer audio-visual asynchrony, poor lip-speech alignment, and unimodal degradation, which can be stemmed from weak audio-visual correspondence modeling, limited generalization, and scarce high-quality dense-caption data. To address these issues, we introduce Klear and delve into three axes--model architecture, training strategy, and data curation. Architecturally, we adopt a single-tower design with unified DiT blocks and an Omni-Full Attention mechanism, achieving tight audio-visual alignment and strong scalability. Training-wise, we adopt a progressive multitask regime--random modality masking to joint optimization across tasks, and a multistage curriculum, yielding robust representations, strengthening A-V aligned world knowledge, and preventing unimodal collapse. For datasets, we present the first large-scale audio-video dataset with dense captions, and introduce a novel automated data-construction pipeline which annotates and filters millions of diverse, high-quality, strictly aligned audio-video-caption triplets. Building on this, Klear scales to large datasets, delivering high-fidelity, semantically and temporally aligned, instruction-following generation in both joint and unimodal settings while generalizing robustly to out-of-distribution scenarios. Across tasks, it substantially outperforms prior methods by a large margin and achieves performance comparable to Veo 3, offering a unified, scalable path toward next-generation audio-video synthesis.