TESSERA v2: Skalierung pixelweiser Erd-Grundlagenmodelle

Zusammenfassung

Pixelweise Erdbeobachtungs-(EO)-Grundlagenmodelle erzielen heute Spitzenleistungen mittels generierter räumlicher Einbettungen. Allerdings bleibt unzureichend verstanden, wie diese Modelle skalieren und wie ein Vortrainingsbudget optimal eingesetzt wird. Wir präsentieren die bisher umfangreichste kontrollierte Skalierungsstudie für EO: 395 Trainingsläufe auf 1.024 GH200-Superchips innerhalb einer festen pixelweisen Barlow-Twins-Familie, die jeweils an 15 nachgelagerten Aufgaben evaluiert werden. Wir stellen fest, dass der Vortrainingsverlust kaum die nachgelagerte Leistung vorhersagt (|Pearson r| < 0,2), sodass die Modellauswahl anhand des Verlusts einen großen Teil der Rechenleistung verschwendet. Wir finden außerdem, dass mit wachsendem Trainingsbudget der Encoder und die Daten gemeinsam wachsen sollten, während der Projektor fix bleibt – dies ergibt eine einfache Regel zur Zuteilung von Rechenressourcen. Unter Anwendung dieser Regel trainieren wir eine Familie pixelweiser Modelle (0,5B und 1B, ein 2B-Modell befindet sich im Training) und destillieren sie in kompakte Studenten für den Einsatz als Einbettungen-als-Daten. Der destillierte TESSERA v2-1B-M mit 21 Millionen Parametern übertrifft in der Gesamtbetrachtung alle getesteten offenen und proprietären Modelle, von denen einige um Größenordnungen größer sind. Diese Studenten erzeugen Matroschka-Repräsentationen, die kostengünstig bereitgestellt werden können: Ein 16-dimensionaler Präfix behält 92 % der vollen 128-dimensionalen Leistung bei 1/8 des Speicherplatzes. Nach Abschluss des Trainings planen wir die Veröffentlichung globaler v2-Einbettungen für den Zeitraum 2017–2025. Zusammenfassend liefern diese Ergebnisse ein konkretes, empirisch fundiertes Rezept für die Skalierung pixelweiser EO-Grundlagenmodelle: Große Encoder trainieren, anhand der nachgelagerten Leistung auswählen und in flexible Studentenmodelle destillieren. Der gesamte Code wird unter https://github.com/ucam-eo/tessera veröffentlicht.

English

Pixel-wise Earth-observation (EO) foundation models are now achieving state-of-the-art performance via generated spatial embeddings. However, how these models scale and how best to spend a pretraining budget remain poorly understood. We present the largest controlled scaling study for EO to date: 395 training runs on 1,024 GH200 superchips within a fixed pixel-wise Barlow Twins family, each evaluated on 15 downstream tasks. We find that pretraining loss barely predicts downstream performance (|Pearson r| < 0.2), so selecting models by loss wastes a large share of the compute. We also find that, as the training budget grows, the encoder and the data should grow together while the projector stays fixed, which gives a simple rule for allocating compute. Using this rule, we train a family of pixel-wise models (0.5B and 1B, with a 2B model in training) and distill them into compact students for embeddings-as-data deployment. The 21-million-parameter distilled TESSERA v2-1B-M in aggregate outperforms all open and proprietary models tested, some of which are orders of magnitude larger. These students produce Matryoshka representations that are inexpensive to serve: a 16-dimensional prefix keeps 92% of the full 128-dimensional performance at 1/8 of the storage. Upon completion of training we plan to release v2 global embeddings covering 2017-2025. Together, these results give a concrete, empirically grounded recipe for scaling pixel-wise EO foundation models: train large encoders, select by downstream performance, and distil into flexible student models. All code will be released at https://github.com/ucam-eo/tessera.