Dedelayed: Устранение задержки удаленного вывода с помощью коррекции на устройстве

Dedelayed: Deleting remote inference delay via on-device correction

October 15, 2025

Авторы: Dan Jacobellis, Mateen Ulhaq, Fabien Racapé, Hyomin Choi, Neeraja J. Yadwadkar

cs.AI

Аннотация

Удаленный вывод позволяет легковесным устройствам использовать мощные облачные модели. Однако задержки в сети связи делают прогнозы устаревшими и непригодными для задач в реальном времени. Для решения этой проблемы мы представляем Dedelayed — метод коррекции задержек, который смягчает произвольные задержки удаленного вывода, позволяя локальному устройству выдавать результаты с низкой задержкой в реальном времени. Наш метод использует легковесную локальную модель, которая обрабатывает текущий кадр и объединяет признаки, вычисленные мощной удаленной моделью на основе прошлых кадров. На видео из набора данных BDD100K, посвященного вождению, Dedelayed повышает точность семантической сегментации по сравнению с более сильным из локального и удаленного базовых подходов при всех реалистичных задержках в сети связи, превышающих 33 мс. Не вызывая дополнительных задержек, метод улучшает точность на 6,4 mIoU по сравнению с полностью локальным выводом и на 9,8 mIoU по сравнению с удаленным выводом при задержке в 100 мс. Преимущество возрастает при более длительных задержках и в сценах с высокой динамикой, так как разделенный вывод с коррекцией задержек эффективнее поддерживает точность, что обеспечивает явные преимущества для задач в реальном времени, которые должны оставаться синхронизированными с текущим состоянием окружающего мира.

English

Remote inference allows lightweight devices to leverage powerful cloud models. However, communication network latency makes predictions stale and unsuitable for real-time tasks. To address this, we introduce Dedelayed, a delay-corrective method that mitigates arbitrary remote inference delays, allowing the local device to produce low-latency outputs in real time. Our method employs a lightweight local model that processes the current frame and fuses in features that a heavyweight remote model computes from past frames. On video from the BDD100K driving dataset, Dedelayed improves semantic segmentation accuracy over the stronger of the local-only and remote-only baselines across all realistic communication network delays beyond 33 ms. Without incurring additional delay, it improves accuracy by 6.4 mIoU compared to fully local inference and 9.8 mIoU compared to remote inference, for a round-trip delay of 100 ms. The advantage grows under longer delays and higher-motion scenes, as delay-mitigated split inference sustains accuracy more effectively, providing clear advantages for real-time tasks that must remain aligned with the current world state.