Dedelayed: オンデバイス補正によるリモート推論遅延の削除

要旨

リモート推論により、軽量なデバイスが強力なクラウドモデルを活用することが可能となる。しかし、通信ネットワークの遅延により、予測が古くなり、リアルタイムタスクには不適切となる。この問題に対処するため、我々はDedelayedを提案する。これは任意のリモート推論遅延を軽減する遅延補正手法であり、ローカルデバイスがリアルタイムで低遅延の出力を生成することを可能にする。本手法では、軽量なローカルモデルが現在のフレームを処理し、重いリモートモデルが過去のフレームから計算した特徴を融合する。BDD100K運転データセットの映像において、Dedelayedは、33 msを超えるすべての現実的な通信ネットワーク遅延において、ローカルのみまたはリモートのみのベースラインのうちより強いものよりもセマンティックセグメンテーションの精度を向上させる。追加の遅延を発生させることなく、100 msの往復遅延において、完全なローカル推論と比較して6.4 mIoU、リモート推論と比較して9.8 mIoUの精度向上を実現する。この利点は、より長い遅延や動きの激しいシーンにおいてさらに大きくなり、遅延軽減型の分割推論が精度をより効果的に維持し、現在の世界の状態と同期し続けなければならないリアルタイムタスクに対して明確な利点を提供する。

English

Remote inference allows lightweight devices to leverage powerful cloud models. However, communication network latency makes predictions stale and unsuitable for real-time tasks. To address this, we introduce Dedelayed, a delay-corrective method that mitigates arbitrary remote inference delays, allowing the local device to produce low-latency outputs in real time. Our method employs a lightweight local model that processes the current frame and fuses in features that a heavyweight remote model computes from past frames. On video from the BDD100K driving dataset, Dedelayed improves semantic segmentation accuracy over the stronger of the local-only and remote-only baselines across all realistic communication network delays beyond 33 ms. Without incurring additional delay, it improves accuracy by 6.4 mIoU compared to fully local inference and 9.8 mIoU compared to remote inference, for a round-trip delay of 100 ms. The advantage grows under longer delays and higher-motion scenes, as delay-mitigated split inference sustains accuracy more effectively, providing clear advantages for real-time tasks that must remain aligned with the current world state.

Dedelayed: オンデバイス補正によるリモート推論遅延の削除

Dedelayed: Deleting remote inference delay via on-device correction

要旨

Support