TESSERA v2: ピクセル単位の地球基盤モデルのスケーリング

要旨

ピクセル単位の地球観測（EO）基盤モデルは、生成された空間埋め込みにより、現在最先端の性能を達成している。しかし、これらのモデルのスケーリング方法や、事前学習予算の最適な配分については、十分に理解されていない。本論文では、地球観測におけるこれまでで最大の制御されたスケーリング研究を提示する：固定されたピクセル単位のBarlow Twinsファミリー内で、1,024個のGH200スーパーチップ上で395回の学習実行を行い、各モデルを15の下流タスクで評価した。我々は、事前学習損失が下流性能をほとんど予測しない（|ピアソンr| < 0.2）ことを発見した。したがって、損失によってモデルを選択することは、計算資源の大部分を無駄にすることになる。また、学習予算が増大するにつれて、エンコーダとデータは同時に拡大すべきであり、プロジェクタは固定したままにするという、計算資源配分のための単純なルールを見出した。このルールを用いて、我々はピクセル単位のモデル群（0.5B、1B、および訓練中の2Bモデル）を学習し、それらをコンパクトな生徒モデルに蒸留して、埋め込みをデータとして展開する。蒸留された2100万パラメータのTESSERA v2-1B-Mは、テストされたすべてのオープンおよびプロプライエタリモデル（中には桁違いに大規模なものもある）を総合的に上回る性能を示した。これらの生徒モデルは、サービス提供コストの低いマトリョーシカ表現を生成する：16次元のプレフィックスで、128次元の完全性能の92%を保持し、ストレージは1/8で済む。学習完了後、2017年から2025年をカバーするv2グローバル埋め込みを公開する予定である。これらの結果は、ピクセル単位の地球観測基盤モデルをスケーリングするための、具体的かつ経験的に裏付けられたレシピを提供する：大規模なエンコーダを学習し、下流性能で選択し、柔軟な生徒モデルに蒸留する。すべてのコードは https://github.com/ucam-eo/tessera で公開される。

English

Pixel-wise Earth-observation (EO) foundation models are now achieving state-of-the-art performance via generated spatial embeddings. However, how these models scale and how best to spend a pretraining budget remain poorly understood. We present the largest controlled scaling study for EO to date: 395 training runs on 1,024 GH200 superchips within a fixed pixel-wise Barlow Twins family, each evaluated on 15 downstream tasks. We find that pretraining loss barely predicts downstream performance (|Pearson r| < 0.2), so selecting models by loss wastes a large share of the compute. We also find that, as the training budget grows, the encoder and the data should grow together while the projector stays fixed, which gives a simple rule for allocating compute. Using this rule, we train a family of pixel-wise models (0.5B and 1B, with a 2B model in training) and distill them into compact students for embeddings-as-data deployment. The 21-million-parameter distilled TESSERA v2-1B-M in aggregate outperforms all open and proprietary models tested, some of which are orders of magnitude larger. These students produce Matryoshka representations that are inexpensive to serve: a 16-dimensional prefix keeps 92% of the full 128-dimensional performance at 1/8 of the storage. Upon completion of training we plan to release v2 global embeddings covering 2017-2025. Together, these results give a concrete, empirically grounded recipe for scaling pixel-wise EO foundation models: train large encoders, select by downstream performance, and distil into flexible student models. All code will be released at https://github.com/ucam-eo/tessera.