Globale und dichte Einbettungen der Erde: Major TOM schwebt im latenten Raum.

Global and Dense Embeddings of Earth: Major TOM Floating in the Latent Space

December 7, 2024

Autoren: Mikolaj Czerkawski, Marcin Kluczek, Jędrzej S. Bojanowski

cs.AI

Zusammenfassung

Mit den stetig wachsenden Mengen an Erdbeobachtungsdaten in den Archiven großer Programme wie Copernicus besteht ein zunehmender Bedarf an effizienten Vektorrepräsentationen der zugrunde liegenden Rohdaten. Der Ansatz, Merkmalsrepräsentationen aus vorab trainierten tiefen neuronalen Netzwerken zu extrahieren, ist ein leistungsstarker Ansatz, der semantische Abstraktionen der Eingabedaten liefern kann. Allerdings ist der Prozess für Bildarchive mit geografischen Daten noch nicht definiert. In dieser Arbeit wird eine Erweiterung für ein bestehendes Community-Projekt, Major TOM, vorgeschlagen, das sich auf die Bereitstellung und Standardisierung von offenen und kostenlosen KI-fähigen Datensätzen für die Erdbeobachtung konzentriert. Darüber hinaus werden vier globale und dichte Einbettungsdatensätze zusammen mit der Veröffentlichung dieses Manuskripts offen und kostenlos veröffentlicht, was zu dem umfassendsten globalen offenen Datensatz von geografischen visuellen Einbettungen in Bezug auf die abgedeckte Erdoberfläche führt.

English

With the ever-increasing volumes of the Earth observation data present in the archives of large programmes such as Copernicus, there is a growing need for efficient vector representations of the underlying raw data. The approach of extracting feature representations from pretrained deep neural networks is a powerful approach that can provide semantic abstractions of the input data. However, the way this is done for imagery archives containing geospatial data has not yet been defined. In this work, an extension is proposed to an existing community project, Major TOM, focused on the provision and standardization of open and free AI-ready datasets for Earth observation. Furthermore, four global and dense embedding datasets are released openly and for free along with the publication of this manuscript, resulting in the most comprehensive global open dataset of geospatial visual embeddings in terms of covered Earth's surface.