Rehausser le tennis de table : une application robuste en conditions réelles pour l'estimation de trajectoire et d'effet en 3D

Uplifting Table Tennis: A Robust, Real-World Application for 3D Trajectory and Spin Estimation

November 25, 2025

papers.authors: Daniel Kienzle, Katja Ludwig, Julian Lorenz, Shin'ichi Satoh, Rainer Lienhart

cs.AI

papers.abstract

Obtenir la trajectoire 3D précise d'une balle de tennis de table à partir de vidéos monoculaires standard est un problème complexe. Les méthodes existantes, entraînées sur des données synthétiques, peinent à généraliser leur performance aux détections imparfaites et bruitées de la balle et de la table dans le monde réel. Ceci est principalement dû à l'absence inhérente de données de référence 3D ( *ground truth* ) pour les trajectoires et la rotation ( *spin* ) dans les vidéos réelles. Pour surmonter cette limitation, nous proposons une nouvelle approche en deux étapes qui divise le problème en une tâche de perception front-end et une tâche de conversion 2D-vers-3D back-end. Cette séparation nous permet d'entraîner les composants front-end avec une supervision 2D abondante provenant de notre nouveau jeu de données TTHQ, tandis que le réseau de conversion back-end est entraîné exclusivement sur des données synthétiques physiquement correctes. Nous avons spécifiquement repensé le modèle de conversion pour le rendre robuste aux artéfacts courants du monde réel, tels que les détections manquantes et les fréquences d'images variables. En intégrant un détecteur de balle et un détecteur de points-clés de la table, notre approche transforme une méthode de conversion de type preuve de concept en une application pratique, robuste et performante pour l'analyse complète en 3D des trajectoires et de la rotation de la balle de tennis de table.

English

Obtaining the precise 3D motion of a table tennis ball from standard monocular videos is a challenging problem, as existing methods trained on synthetic data struggle to generalize to the noisy, imperfect ball and table detections of the real world. This is primarily due to the inherent lack of 3D ground truth trajectories and spin annotations for real-world video. To overcome this, we propose a novel two-stage pipeline that divides the problem into a front-end perception task and a back-end 2D-to-3D uplifting task. This separation allows us to train the front-end components with abundant 2D supervision from our newly created TTHQ dataset, while the back-end uplifting network is trained exclusively on physically-correct synthetic data. We specifically re-engineer the uplifting model to be robust to common real-world artifacts, such as missing detections and varying frame rates. By integrating a ball detector and a table keypoint detector, our approach transforms a proof-of-concept uplifting method into a practical, robust, and high-performing end-to-end application for 3D table tennis trajectory and spin analysis.