Open-Sora 2.0: 상업용 수준의 비디오 생성 모델을 20만 달러로 학습하기

초록

비디오 생성 모델은 지난 한 해 동안 놀라운 발전을 이루었습니다. AI 비디오의 품질은 계속해서 향상되고 있지만, 이는 더 큰 모델 크기, 증가된 데이터 양, 그리고 더 많은 훈련 컴퓨팅 자원을 필요로 하는 대가를 치르고 있습니다. 본 보고서에서는 단 20만 달러의 비용으로 훈련된 상업 수준의 비디오 생성 모델인 Open-Sora 2.0을 소개합니다. 이 모델을 통해 최고 수준의 비디오 생성 모델을 훈련하는 비용이 매우 제어 가능함을 입증합니다. 데이터 큐레이션, 모델 아키텍처, 훈련 전략, 시스템 최적화 등 이러한 효율성 돌파를 이끈 모든 기술을 상세히 설명합니다. 인간 평가 결과와 VBench 점수에 따르면, Open-Sora 2.0은 오픈소스인 HunyuanVideo와 클로즈드소스인 Runway Gen-3 Alpha를 포함한 글로벌 선두 비디오 생성 모델과 견줄 만한 성능을 보입니다. Open-Sora 2.0을 완전히 오픈소스로 공개함으로써, 우리는 고급 비디오 생성 기술에 대한 접근을 민주화하고, 콘텐츠 창작 분야에서 더 넓은 혁신과 창의성을 촉진하고자 합니다. 모든 리소스는 https://github.com/hpcaitech/Open-Sora에서 공개되어 있습니다.

English

Video generation models have achieved remarkable progress in the past year. The quality of AI video continues to improve, but at the cost of larger model size, increased data quantity, and greater demand for training compute. In this report, we present Open-Sora 2.0, a commercial-level video generation model trained for only $200k. With this model, we demonstrate that the cost of training a top-performing video generation model is highly controllable. We detail all techniques that contribute to this efficiency breakthrough, including data curation, model architecture, training strategy, and system optimization. According to human evaluation results and VBench scores, Open-Sora 2.0 is comparable to global leading video generation models including the open-source HunyuanVideo and the closed-source Runway Gen-3 Alpha. By making Open-Sora 2.0 fully open-source, we aim to democratize access to advanced video generation technology, fostering broader innovation and creativity in content creation. All resources are publicly available at: https://github.com/hpcaitech/Open-Sora.

Open-Sora 2.0: 상업용 수준의 비디오 생성 모델을 20만 달러로 학습하기

Open-Sora 2.0: Training a Commercial-Level Video Generation Model in $200k

초록

Summary

Support

Support