올모어스: 다중 모달 지구 관측을 위한 안정적 잠재 이미지 모델링

초록

지구 관측 데이터는 이미지처럼 공간적이고, 동영상이나 텍스트처럼 순차적이며, 매우 다중 모달적인 독특한 과제를 제시합니다. 본 논문에서는 지구 관측 영역에 맞게 새롭게 설계된 자기 지도 학습 방식, 마스킹 전략, 손실 함수를 활용하는 다중 모달 시공간 파운데이션 모델인 OlmoEarth를 소개합니다. OlmoEarth는 다양한 연구 벤치마크와 외부 파트너의 실제 과제에서 다른 12개의 파운데이션 모델 대비 최첨단 성능을 달성했습니다. 임베딩 평가에서 OlmoEarth는 24개 과제 중 15개에서 최고 성능을 보였으며, 전체 미세 조정 시에는 29개 과제 중 19개에서 최고 성능을 기록했습니다. 우리는 OlmoEarth를 지구 관측 모델의 데이터 수집, 라벨링, 학습, 추론을 위한 종단간 플랫폼의 백본으로 배포합니다. OlmoEarth 플랫폼은 세계적인 난제 해결에 임하는 비영리 단체와 NGO에 최첨단 파운데이션 모델과 강력한 데이터 관리 도구를 제공합니다. OlmoEarth의 소스 코드, 학습 데이터, 사전 학습된 가중치는 https://github.com/allenai/olmoearth_pretrain에서 이용할 수 있습니다.

English

Earth observation data presents a unique challenge: it is spatial like images, sequential like video or text, and highly multimodal. We present OlmoEarth: a multimodal, spatio-temporal foundation model that employs a novel self-supervised learning formulation, masking strategy, and loss all designed for the Earth observation domain. OlmoEarth achieves state-of-the-art performance compared to 12 other foundation models across a variety of research benchmarks and real-world tasks from external partners. When evaluating embeddings OlmoEarth achieves the best performance on 15 out of 24 tasks, and with full fine-tuning it is the best on 19 of 29 tasks. We deploy OlmoEarth as the backbone of an end-to-end platform for data collection, labeling, training, and inference of Earth observation models. The OlmoEarth Platform puts frontier foundation models and powerful data management tools into the hands of non-profits and NGOs working to solve the world's biggest problems. OlmoEarth source code, training data, and pre-trained weights are available at https://github.com/allenai/olmoearth_pretrain{https://github.com/allenai/olmoearth_pretrain}.

올모어스: 다중 모달 지구 관측을 위한 안정적 잠재 이미지 모델링

OlmoEarth: Stable Latent Image Modeling for Multimodal Earth Observation

초록

Support