MEMFOF : Entraînement haute résolution pour l'estimation de flux optique multi-images à mémoire efficace

MEMFOF: High-Resolution Training for Memory-Efficient Multi-Frame Optical Flow Estimation

June 29, 2025

Auteurs: Vladislav Bargatin, Egor Chistov, Alexander Yakovenko, Dmitriy Vatolin

cs.AI

Résumé

Les récents progrès dans l'estimation du flux optique ont privilégié la précision au détriment d'une consommation croissante de mémoire GPU, en particulier pour les entrées haute résolution (FullHD). Nous présentons MEMFOF, une méthode multi-images de flux optique économe en mémoire qui identifie un compromis favorable entre l'estimation multi-images et l'utilisation de la mémoire GPU. Notamment, MEMFOF ne nécessite que 2,09 Go de mémoire GPU lors de l'exécution pour des entrées 1080p, et 28,5 Go pendant l'entraînement, ce qui positionne de manière unique notre méthode pour être entraînée en résolution native 1080p sans avoir besoin de recadrage ou de sous-échantillonnage. Nous revisitons systématiquement les choix de conception des architectures de type RAFT, en intégrant des volumes de corrélation réduits et des protocoles d'entraînement haute résolution parallèlement à l'estimation multi-images, pour atteindre des performances de pointe sur plusieurs benchmarks tout en réduisant considérablement la surcharge mémoire. Notre méthode surpasse les alternatives plus gourmandes en ressources à la fois en précision et en efficacité d'exécution, validant sa robustesse pour l'estimation de flux à haute résolution. Au moment de la soumission, notre méthode se classe première sur le benchmark Spring avec un taux d'erreur de 1 pixel (1px) de 3,289, mène Sintel (clean) avec une erreur de point final (EPE) de 0,963, et obtient la meilleure erreur Fl-all sur KITTI-2015 à 2,94%. Le code est disponible à l'adresse https://github.com/msu-video-group/memfof.

English

Recent advances in optical flow estimation have prioritized accuracy at the cost of growing GPU memory consumption, particularly for high-resolution (FullHD) inputs. We introduce MEMFOF, a memory-efficient multi-frame optical flow method that identifies a favorable trade-off between multi-frame estimation and GPU memory usage. Notably, MEMFOF requires only 2.09 GB of GPU memory at runtime for 1080p inputs, and 28.5 GB during training, which uniquely positions our method to be trained at native 1080p without the need for cropping or downsampling. We systematically revisit design choices from RAFT-like architectures, integrating reduced correlation volumes and high-resolution training protocols alongside multi-frame estimation, to achieve state-of-the-art performance across multiple benchmarks while substantially reducing memory overhead. Our method outperforms more resource-intensive alternatives in both accuracy and runtime efficiency, validating its robustness for flow estimation at high resolutions. At the time of submission, our method ranks first on the Spring benchmark with a 1-pixel (1px) outlier rate of 3.289, leads Sintel (clean) with an endpoint error (EPE) of 0.963, and achieves the best Fl-all error on KITTI-2015 at 2.94%. The code is available at https://github.com/msu-video-group/memfof.