MEMFOF: Addestramento ad Alta Risoluzione per la Stima del Flusso Ottico Multi-Frame Efficiente in Memoria

MEMFOF: High-Resolution Training for Memory-Efficient Multi-Frame Optical Flow Estimation

June 29, 2025

Autori: Vladislav Bargatin, Egor Chistov, Alexander Yakovenko, Dmitriy Vatolin

cs.AI

Abstract

I recenti progressi nella stima del flusso ottico hanno privilegiato l'accuratezza a scapito di un crescente consumo di memoria GPU, in particolare per input ad alta risoluzione (FullHD). Introduciamo MEMFOF, un metodo multi-frame per il flusso ottico efficiente in termini di memoria che identifica un compromesso favorevole tra la stima multi-frame e l'utilizzo della memoria GPU. In particolare, MEMFOF richiede solo 2,09 GB di memoria GPU in fase di esecuzione per input 1080p e 28,5 GB durante l'addestramento, posizionando in modo unico il nostro metodo per essere addestrato a risoluzione nativa 1080p senza la necessità di ritagli o ridimensionamenti. Rivediamo sistematicamente le scelte progettuali delle architetture simili a RAFT, integrando volumi di correlazione ridotti e protocolli di addestramento ad alta risoluzione insieme alla stima multi-frame, per ottenere prestazioni all'avanguardia su più benchmark riducendo sostanzialmente l'overhead di memoria. Il nostro metodo supera alternative più dispendiose in termini di risorse sia in accuratezza che in efficienza di runtime, validandone la robustezza per la stima del flusso ad alte risoluzioni. Al momento della presentazione, il nostro metodo si classifica primo sul benchmark Spring con un tasso di outlier a 1 pixel (1px) del 3,289, guida Sintel (clean) con un errore di endpoint (EPE) di 0,963 e raggiunge il miglior errore Fl-all su KITTI-2015 al 2,94%. Il codice è disponibile all'indirizzo https://github.com/msu-video-group/memfof.

English

Recent advances in optical flow estimation have prioritized accuracy at the cost of growing GPU memory consumption, particularly for high-resolution (FullHD) inputs. We introduce MEMFOF, a memory-efficient multi-frame optical flow method that identifies a favorable trade-off between multi-frame estimation and GPU memory usage. Notably, MEMFOF requires only 2.09 GB of GPU memory at runtime for 1080p inputs, and 28.5 GB during training, which uniquely positions our method to be trained at native 1080p without the need for cropping or downsampling. We systematically revisit design choices from RAFT-like architectures, integrating reduced correlation volumes and high-resolution training protocols alongside multi-frame estimation, to achieve state-of-the-art performance across multiple benchmarks while substantially reducing memory overhead. Our method outperforms more resource-intensive alternatives in both accuracy and runtime efficiency, validating its robustness for flow estimation at high resolutions. At the time of submission, our method ranks first on the Spring benchmark with a 1-pixel (1px) outlier rate of 3.289, leads Sintel (clean) with an endpoint error (EPE) of 0.963, and achieves the best Fl-all error on KITTI-2015 at 2.94%. The code is available at https://github.com/msu-video-group/memfof.