MEMFOF: Hoogresolutie-training voor geheugenefficiënte multi-frame optische stroomschatting
MEMFOF: High-Resolution Training for Memory-Efficient Multi-Frame Optical Flow Estimation
June 29, 2025
Auteurs: Vladislav Bargatin, Egor Chistov, Alexander Yakovenko, Dmitriy Vatolin
cs.AI
Samenvatting
Recente vooruitgang in optische stroomberekening heeft prioriteit gegeven aan nauwkeurigheid ten koste van een toenemend GPU-geheugengebruik, vooral voor hoogwaardige (FullHD) invoer. Wij introduceren MEMFOF, een geheugenefficiënte multi-frame optische stroommethode die een gunstige balans vindt tussen multi-frame berekening en GPU-geheugengebruik. Opmerkelijk is dat MEMFOF slechts 2,09 GB GPU-geheugen vereist tijdens runtime voor 1080p-invoer, en 28,5 GB tijdens training, wat onze methode uniek positioneert om op native 1080p te worden getraind zonder de noodzaak van bijsnijden of downsampling. We herzien systematisch ontwerpkeuzes van RAFT-achtige architecturen, waarbij we gereduceerde correlatievolumes en hoogwaardige trainingsprotocollen integreren naast multi-frame berekening, om state-of-the-art prestaties te bereiken over meerdere benchmarks terwijl het geheugengebruik aanzienlijk wordt verminderd. Onze methode overtreft meer resource-intensieve alternatieven in zowel nauwkeurigheid als runtime-efficiëntie, wat de robuustheid voor stroomberekening op hoge resoluties bevestigt. Op het moment van indiening staat onze methode op de eerste plaats op de Spring-benchmark met een 1-pixel (1px) outlierpercentage van 3,289, leidt Sintel (clean) met een eindpuntfout (EPE) van 0,963, en behaalt de beste Fl-all fout op KITTI-2015 met 2,94%. De code is beschikbaar op https://github.com/msu-video-group/memfof.
English
Recent advances in optical flow estimation have prioritized accuracy at the
cost of growing GPU memory consumption, particularly for high-resolution
(FullHD) inputs. We introduce MEMFOF, a memory-efficient multi-frame optical
flow method that identifies a favorable trade-off between multi-frame
estimation and GPU memory usage. Notably, MEMFOF requires only 2.09 GB of GPU
memory at runtime for 1080p inputs, and 28.5 GB during training, which uniquely
positions our method to be trained at native 1080p without the need for
cropping or downsampling. We systematically revisit design choices from
RAFT-like architectures, integrating reduced correlation volumes and
high-resolution training protocols alongside multi-frame estimation, to achieve
state-of-the-art performance across multiple benchmarks while substantially
reducing memory overhead. Our method outperforms more resource-intensive
alternatives in both accuracy and runtime efficiency, validating its robustness
for flow estimation at high resolutions. At the time of submission, our method
ranks first on the Spring benchmark with a 1-pixel (1px) outlier rate of 3.289,
leads Sintel (clean) with an endpoint error (EPE) of 0.963, and achieves the
best Fl-all error on KITTI-2015 at 2.94%. The code is available at
https://github.com/msu-video-group/memfof.