DeFM: Apprendimento di rappresentazioni di base dalla profondità per la robotica

DeFM: Learning Foundation Representations from Depth for Robotics

January 26, 2026

Autori: Manthan Patel, Jonas Frey, Mayank Mittal, Fan Yang, Alexander Hansson, Amir Bar, Cesar Cadena, Marco Hutter

cs.AI

Abstract

I sensori di profondità sono ampiamente impiegati su piattaforme robotiche, e i progressi nella simulazione di profondità rapida e ad alta fedeltà hanno consentito a politiche robotiche addestrate su osservazioni di profondità di ottenere un robusto trasferimento sim-to-real per un'ampia gamma di compiti. Nonostante ciò, l'apprendimento di rappresentazioni per la modalità di profondità rimane poco esplorato rispetto all'RGB, dove modelli foundation su larga scala definiscono ora lo stato dell'arte. Per colmare questa lacuna, presentiamo DeFM, un modello foundation auto-supervisionato addestrato interamente su immagini di profondità per applicazioni robotiche. Utilizzando un obiettivo di auto-distillazione in stile DINO su un dataset curato di 60 milioni di immagini di profondità, DeFM apprende rappresentazioni geometriche e semantiche che generalizzano a diversi ambienti, compiti e sensori. Per preservare la consapevolezza metrica attraverso scale multiple, introduciamo una nuova strategia di normalizzazione dell'input. Inoltre, distilliamo DeFM in modelli compatti adatti a sistemi robotici con risorse limitate. Quando valutato su benchmark di classificazione, segmentazione, navigazione, locomozione e manipolazione basati sulla profondità, DeFM raggiunge prestazioni all'avanguardia e dimostra una forte generalizzazione dagli ambienti simulati a quelli del mondo reale. Rilasciamo tutti i nostri modelli pre-addestrati, che possono essere adottati immediatamente per l'apprendimento robotico basato sulla profondità senza una messa a punto specifica per il compito. Pagina web: https://de-fm.github.io/

English

Depth sensors are widely deployed across robotic platforms, and advances in fast, high-fidelity depth simulation have enabled robotic policies trained on depth observations to achieve robust sim-to-real transfer for a wide range of tasks. Despite this, representation learning for depth modality remains underexplored compared to RGB, where large-scale foundation models now define the state of the art. To address this gap, we present DeFM, a self-supervised foundation model trained entirely on depth images for robotic applications. Using a DINO-style self-distillation objective on a curated dataset of 60M depth images, DeFM learns geometric and semantic representations that generalize to diverse environments, tasks, and sensors. To retain metric awareness across multiple scales, we introduce a novel input normalization strategy. We further distill DeFM into compact models suitable for resource-constrained robotic systems. When evaluated on depth-based classification, segmentation, navigation, locomotion, and manipulation benchmarks, DeFM achieves state-of-the-art performance and demonstrates strong generalization from simulation to real-world environments. We release all our pretrained models, which can be adopted off-the-shelf for depth-based robotic learning without task-specific fine-tuning. Webpage: https://de-fm.github.io/