Tafeltennis naar een hoger niveau tillen: een robuuste, real-world toepassing voor 3D-traject- en effectschatting
Uplifting Table Tennis: A Robust, Real-World Application for 3D Trajectory and Spin Estimation
November 25, 2025
Auteurs: Daniel Kienzle, Katja Ludwig, Julian Lorenz, Shin'ichi Satoh, Rainer Lienhart
cs.AI
Samenvatting
Het verkrijgen van de precieze 3D-beweging van een tafeltennisbal uit standaard monoscopische video's is een uitdagend probleem, omdat bestaande methoden die op synthetische data zijn getraind, moeite hebben om te generaliseren naar de ruwe, onvolmaakte bal- en tafeldetecties in de echte wereld. Dit komt primair door het inherente gebrek aan 3D grondwaarheidstrajecten en spinannotaties voor real-world video. Om dit te overwinnen, stellen we een nieuwe pijplijn in twee fasen voor die het probleem verdeelt in een front-end perceptietaak en een back-end 2D-naar-3D-verheffingstaak. Deze scheiding stelt ons in staat de front-end componenten te trainen met overvloedige 2D-supervisie vanuit onze nieuw gecreëerde TTHQ-dataset, terwijl het back-end verheffingsnetwerk uitsluitend wordt getraind op fysisch correcte synthetische data. We hebben het verheffingsmodel specifiek herontworpen om robuust te zijn tegen veelvoorkomende real-world artefacten, zoals ontbrekende detecties en wisselende framesnelheden. Door een baldetector en een tafelsleutelpuntdetector te integreren, transformeert onze aanpak een proof-of-concept verheffingsmethode naar een praktische, robuuste en hoogpresterende end-to-end applicatie voor 3D tafeltennistraject- en spinanalyse.
English
Obtaining the precise 3D motion of a table tennis ball from standard monocular videos is a challenging problem, as existing methods trained on synthetic data struggle to generalize to the noisy, imperfect ball and table detections of the real world. This is primarily due to the inherent lack of 3D ground truth trajectories and spin annotations for real-world video. To overcome this, we propose a novel two-stage pipeline that divides the problem into a front-end perception task and a back-end 2D-to-3D uplifting task. This separation allows us to train the front-end components with abundant 2D supervision from our newly created TTHQ dataset, while the back-end uplifting network is trained exclusively on physically-correct synthetic data. We specifically re-engineer the uplifting model to be robust to common real-world artifacts, such as missing detections and varying frame rates. By integrating a ball detector and a table keypoint detector, our approach transforms a proof-of-concept uplifting method into a practical, robust, and high-performing end-to-end application for 3D table tennis trajectory and spin analysis.