リングアテンションを用いた百万長ビデオと言語のワールドモデル

World Model on Million-Length Video And Language With RingAttention

February 13, 2024

著者: Hao Liu, Wilson Yan, Matei Zaharia, Pieter Abbeel

cs.AI

要旨

現在の言語モデルは、言葉で簡単に説明できない世界の側面を理解する能力が不十分であり、複雑で長文のタスクに苦戦しています。ビデオシーケンスは、言語や静止画にはない貴重な時間的情報を提供するため、言語との共同モデリングに適しています。このようなモデルは、人間のテキスト知識と物理世界の両方を理解し、人間を支援するためのより広範なAI能力を可能にする可能性があります。しかし、数百万トークンに及ぶビデオと言語シーケンスから学習することは、メモリ制約、計算の複雑さ、限られたデータセットのため、課題となっています。これらの課題に対処するため、多様なビデオと書籍の大規模なデータセットをキュレーションし、RingAttention技術を活用して長いシーケンスをスケーラブルにトレーニングし、コンテキストサイズを4Kから1Mトークンに段階的に増やします。本論文は以下の貢献を行います：(a) 最大コンテキストサイズのニューラルネットワーク：長いビデオと言語シーケンスで最大コンテキストサイズのトランスフォーマーをトレーニングし、困難な検索タスクと長いビデオ理解において新しいベンチマークを設定します。(b) ビジョンと言語のトレーニング課題を克服するための解決策、異なるシーケンス長を混合するためのマスクされたシーケンスパッキング、言語とビジョンのバランスを取るための損失重み付け、長いシーケンスチャットのためのモデル生成QAデータセットを含みます。(c) RingAttention、マスクされたシーケンスパッキング、その他の主要な機能を備えた高度に最適化された実装で、数百万長のマルチモーダルシーケンスをトレーニングします。(d) 1Mトークンを超える長いテキストドキュメント（LWM-Text、LWM-Text-Chat）とビデオ（LWM、LWM-Chat）を処理できる7Bパラメータモデルファミリーを完全にオープンソース化しました。この研究は、人間の知識とマルチモーダル世界を理解し、より広範な能力を開発するために、長いビデオと言語の大規模なデータセットをトレーニングする道を開きます。

English

Current language models fall short in understanding aspects of the world not easily described in words, and struggle with complex, long-form tasks. Video sequences offer valuable temporal information absent in language and static images, making them attractive for joint modeling with language. Such models could develop a understanding of both human textual knowledge and the physical world, enabling broader AI capabilities for assisting humans. However, learning from millions of tokens of video and language sequences poses challenges due to memory constraints, computational complexity, and limited datasets. To address these challenges, we curate a large dataset of diverse videos and books, utilize the RingAttention technique to scalably train on long sequences, and gradually increase context size from 4K to 1M tokens. This paper makes the following contributions: (a) Largest context size neural network: We train one of the largest context size transformers on long video and language sequences, setting new benchmarks in difficult retrieval tasks and long video understanding. (b) Solutions for overcoming vision-language training challenges, including using masked sequence packing for mixing different sequence lengths, loss weighting to balance language and vision, and model-generated QA dataset for long sequence chat. (c) A highly-optimized implementation with RingAttention, masked sequence packing, and other key features for training on millions-length multimodal sequences. (d) Fully open-sourced a family of 7B parameter models capable of processing long text documents (LWM-Text, LWM-Text-Chat) and videos (LWM, LWM-Chat) of over 1M tokens. This work paves the way for training on massive datasets of long video and language to develop understanding of both human knowledge and the multimodal world, and broader capabilities.