AtomoVideo: Генерация видео изображений высокой точности
AtomoVideo: High Fidelity Image-to-Video Generation
March 4, 2024
Авторы: Litong Gong, Yiran Zhu, Weijie Li, Xiaoyang Kang, Biao Wang, Tiezheng Ge, Bo Zheng
cs.AI
Аннотация
В последнее время генерация видео достигла значительного быстрого развития на основе передовых техник генерации текста в изображение. В данной работе мы предлагаем высококачественную структуру для генерации изображения в видео, названную AtomoVideo. Основываясь на многогранной инъекции изображения, мы достигаем более высокой точности сгенерированного видео по сравнению с заданным изображением. Кроме того, благодаря качественным наборам данных и стратегиям обучения, мы добиваемся большей интенсивности движения, сохраняя при этом превосходную временную последовательность и стабильность. Наша архитектура гибко расширяется на задачу предсказания кадра видео, обеспечивая предсказание длинной последовательности через итеративную генерацию. Благодаря разработке адаптерного обучения, наш подход может хорошо сочетаться с существующими персонализированными моделями и управляемыми модулями. После количественной и качественной оценки AtomoVideo достигает превосходных результатов по сравнению с популярными методами, дополнительные примеры можно найти на нашем веб-сайте проекта: https://atomo-video.github.io/.
English
Recently, video generation has achieved significant rapid development based
on superior text-to-image generation techniques. In this work, we propose a
high fidelity framework for image-to-video generation, named AtomoVideo. Based
on multi-granularity image injection, we achieve higher fidelity of the
generated video to the given image. In addition, thanks to high quality
datasets and training strategies, we achieve greater motion intensity while
maintaining superior temporal consistency and stability. Our architecture
extends flexibly to the video frame prediction task, enabling long sequence
prediction through iterative generation. Furthermore, due to the design of
adapter training, our approach can be well combined with existing personalised
models and controllable modules. By quantitatively and qualitatively
evaluation, AtomoVideo achieves superior results compared to popular methods,
more examples can be found on our project website: https://atomo-
video.github.io/.