LitePT: Lichtere maar Krachtigere Point Transformer

LitePT: Lighter Yet Stronger Point Transformer

December 15, 2025

Auteurs: Yuanwen Yue, Damien Robert, Jianyuan Wang, Sunghwan Hong, Jan Dirk Wegner, Christian Rupprecht, Konrad Schindler

cs.AI

Samenvatting

Moderne neurale architecturen voor 3D-puntenwolkverwerking bevatten zowel convolutionele lagen als attention-blokken, maar de beste manier om deze te combineren blijft onduidelijk. Wij analyseren de rol van verschillende computationele blokken in 3D-puntenwolknetwerken en vinden een intuïtief gedrag: convolutie is geschikt voor het extraheren van low-level geometrie op hoge resolutie in vroege lagen, waar attention duur is zonder voordelen te bieden; attention vangt high-level semantiek en context op lage resolutie in diepe lagen efficiënter. Geleid door dit ontwerpprincipe stellen we een nieuwe, verbeterde 3D-puntenwolk-backbone voor die convoluties gebruikt in vroege fasen en overschakelt naar attention voor diepere lagen. Om het verlies van ruimtelijke lay-outinformatie bij het verwijderen van overbodige convolutionele lagen te voorkomen, introduceren we een nieuwe, trainingsvrije 3D-positionele codering, PointROPE. Het resulterende LitePT-model heeft 3,6 keer minder parameters, werkt 2 keer sneller en gebruikt 2 keer minder geheugen dan de state-of-the-art Point Transformer V3, maar evenaart of overtreft deze desalniettemin in een reeks taken en datasets. Code en modellen zijn beschikbaar op: https://github.com/prs-eth/LitePT.

English

Modern neural architectures for 3D point cloud processing contain both convolutional layers and attention blocks, but the best way to assemble them remains unclear. We analyse the role of different computational blocks in 3D point cloud networks and find an intuitive behaviour: convolution is adequate to extract low-level geometry at high-resolution in early layers, where attention is expensive without bringing any benefits; attention captures high-level semantics and context in low-resolution, deep layers more efficiently. Guided by this design principle, we propose a new, improved 3D point cloud backbone that employs convolutions in early stages and switches to attention for deeper layers. To avoid the loss of spatial layout information when discarding redundant convolution layers, we introduce a novel, training-free 3D positional encoding, PointROPE. The resulting LitePT model has 3.6times fewer parameters, runs 2times faster, and uses 2times less memory than the state-of-the-art Point Transformer V3, but nonetheless matches or even outperforms it on a range of tasks and datasets. Code and models are available at: https://github.com/prs-eth/LitePT.