DeFM: Het leren van fundamentele representaties uit diepte voor robotica

Samenvatting

Dieptesensoren worden op grote schaal ingezet op robotplatforms, en vooruitgang in snelle, hoogwaardige dieptesimulatie heeft ertoe geleid dat robotbeleid dat getraind is op diepteobservaties, robuuste simulatie-naar-realiteit-transfer kan bereiken voor een breed scala aan taken. Desondanks blijft representation learning voor de dieptemodaliteit onderbelicht in vergelijking met RGB, waar grootschalige foundationmodellen nu de standaard bepalen. Om dit hiaat aan te pakken, presenteren we DeFM, een zelfgesuperviseerd foundationmodel dat volledig is getraind op diepteafbeeldingen voor robottoepassingen. Met behulp van een DINO-achtig zelfdistillatiedoel op een gecureerde dataset van 60 miljoen diepteafbeeldingen, leert DeFM geometrische en semantische representaties die generaliseren naar diverse omgevingen, taken en sensoren. Om metrisch bewustzijn over meerdere schalen te behouden, introduceren we een nieuwe normalisatiestrategie voor invoer. We distilleren DeFM verder naar compacte modellen die geschikt zijn voor resource-beperkte robotsystemen. Bij evaluatie op dieptegebaseerde classificatie-, segmentatie-, navigatie-, locomotie- en manipulatiebenchmarks, behaalt DeFM state-of-the-art prestaties en toont het sterke generalisatie van simulatie naar de echte wereld. We geven al onze voorgetrainde modellen vrij, die direct gebruikt kunnen worden voor dieptegebaseerd robotleren zonder taakspecifieke fine-tuning. Webpagina: https://de-fm.github.io/

English

Depth sensors are widely deployed across robotic platforms, and advances in fast, high-fidelity depth simulation have enabled robotic policies trained on depth observations to achieve robust sim-to-real transfer for a wide range of tasks. Despite this, representation learning for depth modality remains underexplored compared to RGB, where large-scale foundation models now define the state of the art. To address this gap, we present DeFM, a self-supervised foundation model trained entirely on depth images for robotic applications. Using a DINO-style self-distillation objective on a curated dataset of 60M depth images, DeFM learns geometric and semantic representations that generalize to diverse environments, tasks, and sensors. To retain metric awareness across multiple scales, we introduce a novel input normalization strategy. We further distill DeFM into compact models suitable for resource-constrained robotic systems. When evaluated on depth-based classification, segmentation, navigation, locomotion, and manipulation benchmarks, DeFM achieves state-of-the-art performance and demonstrates strong generalization from simulation to real-world environments. We release all our pretrained models, which can be adopted off-the-shelf for depth-based robotic learning without task-specific fine-tuning. Webpage: https://de-fm.github.io/

DeFM: Het leren van fundamentele representaties uit diepte voor robotica

DeFM: Learning Foundation Representations from Depth for Robotics

Samenvatting

Support