OlmoEarth: マルチモーダル地球観測のための安定潜在画像モデリング

要旨

地球観測データは、画像のように空間的であり、動画やテキストのように時系列的であり、さらに高度にマルチモーダルであるという独特の課題を提示します。本論文では、地球観測領域に特化して設計された、新規の自己教師あり学習の定式化、マスキング戦略、損失関数を採用したマルチモーダル時空間基盤モデル「OlmoEarth」を提案します。OlmoEarthは、様々な研究ベンチマークおよび外部パートナーによる実世界タスクにおいて、他の12の基盤モデルと比較して最先端の性能を達成しました。埋め込み表現の評価では、24のタスク中15タスクで最高の性能を達成し、フルファインチューニングでは29のタスク中19タスクで最高となりました。我々はOlmoEarthを、地球観測モデルのためのデータ収集、ラベリング、学習、推論をエンドツーエンドで行うプラットフォームの基盤として展開しています。OlmoEarthプラットフォームは、世界の最も深刻な問題の解決に取り組む非営利団体やNGOに、最先端の基盤モデルと強力なデータ管理ツールを提供します。OlmoEarthのソースコード、学習データ、事前学習済み重みはhttps://github.com/allenai/olmoearth_pretrain で公開されています。

English

Earth observation data presents a unique challenge: it is spatial like images, sequential like video or text, and highly multimodal. We present OlmoEarth: a multimodal, spatio-temporal foundation model that employs a novel self-supervised learning formulation, masking strategy, and loss all designed for the Earth observation domain. OlmoEarth achieves state-of-the-art performance compared to 12 other foundation models across a variety of research benchmarks and real-world tasks from external partners. When evaluating embeddings OlmoEarth achieves the best performance on 15 out of 24 tasks, and with full fine-tuning it is the best on 19 of 29 tasks. We deploy OlmoEarth as the backbone of an end-to-end platform for data collection, labeling, training, and inference of Earth observation models. The OlmoEarth Platform puts frontier foundation models and powerful data management tools into the hands of non-profits and NGOs working to solve the world's biggest problems. OlmoEarth source code, training data, and pre-trained weights are available at https://github.com/allenai/olmoearth_pretrain{https://github.com/allenai/olmoearth_pretrain}.

OlmoEarth: マルチモーダル地球観測のための安定潜在画像モデリング

OlmoEarth: Stable Latent Image Modeling for Multimodal Earth Observation

要旨

Support