Het destilleren van Diffusie Modellen voor Efficiënte 3D LiDAR Scene Completering

Distilling Diffusion Models to Efficient 3D LiDAR Scene Completion

December 4, 2024

Auteurs: Shengyuan Zhang, An Zhao, Ling Yang, Zejian Li, Chenye Meng, Haoran Xu, Tianrun Chen, AnYang Wei, Perry Pengyun GU, Lingyun Sun

cs.AI

Samenvatting

Diffusiemodellen zijn toegepast op 3D LiDAR scène-aanvulling vanwege hun sterke trainingsstabiliteit en hoge kwaliteit van aanvulling. Echter, de trage bemonsteringssnelheid beperkt de praktische toepassing van op diffusie gebaseerde scène-aanvullingsmodellen aangezien autonome voertuigen een efficiënte perceptie van hun omgeving vereisen. Dit artikel stelt een nieuw distillatiemethode voor die is afgestemd op 3D LiDAR scène-aanvullingsmodellen, genaamd ScoreLiDAR, die efficiënte maar hoogwaardige scène-aanvulling bereikt. ScoreLiDAR stelt het gedistilleerde model in staat om aanzienlijk minder stappen te nemen na distillatie. Om de kwaliteit van de aanvulling te verbeteren, introduceren we ook een nieuwe Structurele Verlies, die het gedistilleerde model aanmoedigt om de geometrische structuur van de 3D LiDAR scène vast te leggen. Het verlies bevat een scène-gerelateerde term die de holistische structuur beperkt en een punt-gerelateerde term die de belangrijkste landmark-punten en hun onderlinge configuratie beperkt. Uitgebreide experimenten tonen aan dat ScoreLiDAR de aanvullingstijd aanzienlijk versnelt van 30.55 naar 5.37 seconden per frame (>5 keer) op SemanticKITTI en superieure prestaties behaalt in vergelijking met toonaangevende 3D LiDAR scène-aanvullingsmodellen. Onze code is openbaar beschikbaar op https://github.com/happyw1nd/ScoreLiDAR.

English

Diffusion models have been applied to 3D LiDAR scene completion due to their strong training stability and high completion quality. However, the slow sampling speed limits the practical application of diffusion-based scene completion models since autonomous vehicles require an efficient perception of surrounding environments. This paper proposes a novel distillation method tailored for 3D LiDAR scene completion models, dubbed ScoreLiDAR, which achieves efficient yet high-quality scene completion. ScoreLiDAR enables the distilled model to sample in significantly fewer steps after distillation. To improve completion quality, we also introduce a novel Structural Loss, which encourages the distilled model to capture the geometric structure of the 3D LiDAR scene. The loss contains a scene-wise term constraining the holistic structure and a point-wise term constraining the key landmark points and their relative configuration. Extensive experiments demonstrate that ScoreLiDAR significantly accelerates the completion time from 30.55 to 5.37 seconds per frame (>5times) on SemanticKITTI and achieves superior performance compared to state-of-the-art 3D LiDAR scene completion models. Our code is publicly available at https://github.com/happyw1nd/ScoreLiDAR.