3D Diffusiebeleid

Samenvatting

Imitation learning biedt een efficiënte manier om robots behendige vaardigheden aan te leren; het robuust en generaliseerbaar leren van complexe vaardigheden vereist echter meestal grote hoeveelheden menselijke demonstraties. Om dit uitdagende probleem aan te pakken, presenteren we 3D Diffusion Policy (DP3), een nieuwe benadering voor visueel imitation learning die de kracht van 3D-visuele representaties integreert in diffusiebeleidsmodellen, een klasse van conditionele actiegeneratieve modellen. De kern van het ontwerp van DP3 is het gebruik van een compacte 3D-visuele representatie, geëxtraheerd uit sparse point clouds met een efficiënte point encoder. In onze experimenten met 72 simulatietaken behandelt DP3 de meeste taken succesvol met slechts 10 demonstraties en overtreft het de baseline-methoden met een relatieve verbetering van 55,3%. In 4 taken met echte robots toont DP3 precieze controle met een hoog slagingspercentage van 85%, gegeven slechts 40 demonstraties per taak, en vertoont het uitstekende generalisatievermogen op diverse aspecten, waaronder ruimte, gezichtspunt, uiterlijk en instantie. Interessant is dat in experimenten met echte robots DP3 zelden veiligheidseisen schendt, in tegenstelling tot baseline-methoden die dit vaak doen en menselijk ingrijpen noodzakelijk maken. Onze uitgebreide evaluatie benadrukt het cruciale belang van 3D-representaties in robotleren in de echte wereld. Video's, code en gegevens zijn beschikbaar op https://3d-diffusion-policy.github.io.

English

Imitation learning provides an efficient way to teach robots dexterous skills; however, learning complex skills robustly and generalizablely usually consumes large amounts of human demonstrations. To tackle this challenging problem, we present 3D Diffusion Policy (DP3), a novel visual imitation learning approach that incorporates the power of 3D visual representations into diffusion policies, a class of conditional action generative models. The core design of DP3 is the utilization of a compact 3D visual representation, extracted from sparse point clouds with an efficient point encoder. In our experiments involving 72 simulation tasks, DP3 successfully handles most tasks with just 10 demonstrations and surpasses baselines with a 55.3% relative improvement. In 4 real robot tasks, DP3 demonstrates precise control with a high success rate of 85%, given only 40 demonstrations of each task, and shows excellent generalization abilities in diverse aspects, including space, viewpoint, appearance, and instance. Interestingly, in real robot experiments, DP3 rarely violates safety requirements, in contrast to baseline methods which frequently do, necessitating human intervention. Our extensive evaluation highlights the critical importance of 3D representations in real-world robot learning. Videos, code, and data are available on https://3d-diffusion-policy.github.io .