TESSERA v2: Escalando Modelos Fundacionais da Terra Pixel a Pixel

Resumo

Modelos de observação da Terra (OT) baseados em pixels estão agora alcançando desempenho de ponta por meio de embeddings espaciais gerados. No entanto, como esses modelos escalam e como melhor gastar um orçamento de pré-treinamento ainda são pouco compreendidos. Apresentamos o maior estudo controlado de escalonamento para OT até o momento: 395 execuções de treinamento em 1.024 superchips GH200 dentro de uma família fixa de Barlow Twins baseada em pixels, cada uma avaliada em 15 tarefas downstream. Descobrimos que a perda de pré-treinamento mal prevê o desempenho downstream (|Pearson r| < 0,2), portanto, selecionar modelos pela perda desperdiça uma grande parte do poder computacional. Também descobrimos que, à medida que o orçamento de treinamento cresce, o encoder e os dados devem crescer juntos enquanto o projetor permanece fixo, o que fornece uma regra simples para alocar recursos computacionais. Usando essa regra, treinamos uma família de modelos baseados em pixels (0.5B e 1B, com um modelo de 2B em treinamento) e os destilamos em estudantes compactos para implantação de embeddings como dados. O TESSERA v2-1B-M destilado com 21 milhões de parâmetros supera, em agregado, todos os modelos abertos e proprietários testados, alguns dos quais são ordens de magnitude maiores. Esses estudantes produzem representações Matryoshka que são baratas de servir: um prefixo de 16 dimensões mantém 92% do desempenho total de 128 dimensões com 1/8 do armazenamento. Após a conclusão do treinamento, planejamos lançar embeddings globais v2 abrangendo 2017-2025. Juntos, esses resultados fornecem uma receita concreta e empiricamente fundamentada para escalar modelos base de OT baseados em pixels: treinar grandes encoders, selecionar pelo desempenho downstream e destilar em modelos estudantes flexíveis. Todo o código será disponibilizado em https://github.com/ucam-eo/tessera.

English

Pixel-wise Earth-observation (EO) foundation models are now achieving state-of-the-art performance via generated spatial embeddings. However, how these models scale and how best to spend a pretraining budget remain poorly understood. We present the largest controlled scaling study for EO to date: 395 training runs on 1,024 GH200 superchips within a fixed pixel-wise Barlow Twins family, each evaluated on 15 downstream tasks. We find that pretraining loss barely predicts downstream performance (|Pearson r| < 0.2), so selecting models by loss wastes a large share of the compute. We also find that, as the training budget grows, the encoder and the data should grow together while the projector stays fixed, which gives a simple rule for allocating compute. Using this rule, we train a family of pixel-wise models (0.5B and 1B, with a 2B model in training) and distill them into compact students for embeddings-as-data deployment. The 21-million-parameter distilled TESSERA v2-1B-M in aggregate outperforms all open and proprietary models tested, some of which are orders of magnitude larger. These students produce Matryoshka representations that are inexpensive to serve: a 16-dimensional prefix keeps 92% of the full 128-dimensional performance at 1/8 of the storage. Upon completion of training we plan to release v2 global embeddings covering 2017-2025. Together, these results give a concrete, empirically grounded recipe for scaling pixel-wise EO foundation models: train large encoders, select by downstream performance, and distil into flexible student models. All code will be released at https://github.com/ucam-eo/tessera.