Potenziare il Tennistavolo: un'Applicazione Robusta e nel Mondo Reale per la Stima della Traiettoria 3D e dell'Effetto

Uplifting Table Tennis: A Robust, Real-World Application for 3D Trajectory and Spin Estimation

November 25, 2025

Autori: Daniel Kienzle, Katja Ludwig, Julian Lorenz, Shin'ichi Satoh, Rainer Lienhart

cs.AI

Abstract

Ottenere il movimento 3D preciso di una pallina da tennis da tavolo da video monoculari standard è un problema complesso, poiché i metodi esistenti addestrati su dati sintetici faticano a generalizzare per le rilevazioni rumorose e imperfette della palla e del tavolo nel mondo reale. Ciò è dovuto principalmente all'intrinseca mancanza di traiettorie 3D di ground truth e di annotazioni dello spin per i video del mondo reale. Per superare questo limite, proponiamo una nuova pipeline in due fasi che suddivide il problema in un compito di percezione front-end e in un compito di "innalzamento" (uplifting) da 2D a 3D back-end. Questa separazione ci consente di addestrare i componenti front-end con un'abbondante supervisione 2D dal nostro nuovo dataset TTHQ, mentre la rete di uplifting back-end viene addestrata esclusivamente su dati sintetici fisicamente corretti. Abbiamo specificamente riprogettato il modello di uplifting per essere robusto ai comuni artefatti del mondo reale, come rilevazioni mancanti e frequenze dei fotogrammi variabili. Integrando un rilevatore di palline e un rilevatore di punti chiave del tavolo, il nostro approccio trasforma un metodo di uplifting proof-of-concept in un'applicazione end-to-end pratica, robusta e ad alte prestazioni per l'analisi 3D della traiettoria e dello spin nel tennis da tavolo.

English

Obtaining the precise 3D motion of a table tennis ball from standard monocular videos is a challenging problem, as existing methods trained on synthetic data struggle to generalize to the noisy, imperfect ball and table detections of the real world. This is primarily due to the inherent lack of 3D ground truth trajectories and spin annotations for real-world video. To overcome this, we propose a novel two-stage pipeline that divides the problem into a front-end perception task and a back-end 2D-to-3D uplifting task. This separation allows us to train the front-end components with abundant 2D supervision from our newly created TTHQ dataset, while the back-end uplifting network is trained exclusively on physically-correct synthetic data. We specifically re-engineer the uplifting model to be robust to common real-world artifacts, such as missing detections and varying frame rates. By integrating a ball detector and a table keypoint detector, our approach transforms a proof-of-concept uplifting method into a practical, robust, and high-performing end-to-end application for 3D table tennis trajectory and spin analysis.