디커플드 비디오 세그멘테이션을 통한 모든 객체 추적
Tracking Anything with Decoupled Video Segmentation
September 7, 2023
저자: Ho Kei Cheng, Seoung Wug Oh, Brian Price, Alexander Schwing, Joon-Young Lee
cs.AI
초록
비디오 세그멘테이션을 위한 학습 데이터는 주석을 달기 위해 많은 비용이 듭니다. 이는 특히 대규모 어휘 설정에서 새로운 비디오 세그멘테이션 작업으로의 종단 간(end-to-end) 알고리즘 확장을 방해합니다. 각 개별 작업에 대해 비디오 데이터를 학습하지 않고도 '어떤 것이든 추적'하기 위해, 우리는 작업별 이미지 수준 세그멘테이션과 클래스/작업에 구애받지 않는 양방향 시간적 전파로 구성된 분리된 비디오 세그멘테이션 접근법(DEVA)을 개발했습니다. 이 설계 덕분에, 우리는 대상 작업을 위한 이미지 수준 모델(학습 비용이 더 저렴함)과 한 번 학습하면 여러 작업에 걸쳐 일반화되는 범용 시간적 전파 모델만 필요로 합니다. 이 두 모듈을 효과적으로 결합하기 위해, 우리는 다른 프레임에서의 세그멘테이션 가설을 (준)온라인 방식으로 융합하여 일관된 세그멘테이션을 생성하기 위해 양방향 전파를 사용합니다. 우리는 이 분리된 구성이 대규모 어휘 비디오 팬옵틱 세그멘테이션, 오픈 월드 비디오 세그멘테이션, 참조 비디오 세그멘테이션, 그리고 비지도 비디오 객체 세그멘테이션을 포함한 여러 데이터가 부족한 작업에서 종단 간 접근법보다 우수함을 보여줍니다. 코드는 다음에서 확인할 수 있습니다: https://hkchengrex.github.io/Tracking-Anything-with-DEVA
English
Training data for video segmentation are expensive to annotate. This impedes
extensions of end-to-end algorithms to new video segmentation tasks, especially
in large-vocabulary settings. To 'track anything' without training on video
data for every individual task, we develop a decoupled video segmentation
approach (DEVA), composed of task-specific image-level segmentation and
class/task-agnostic bi-directional temporal propagation. Due to this design, we
only need an image-level model for the target task (which is cheaper to train)
and a universal temporal propagation model which is trained once and
generalizes across tasks. To effectively combine these two modules, we use
bi-directional propagation for (semi-)online fusion of segmentation hypotheses
from different frames to generate a coherent segmentation. We show that this
decoupled formulation compares favorably to end-to-end approaches in several
data-scarce tasks including large-vocabulary video panoptic segmentation,
open-world video segmentation, referring video segmentation, and unsupervised
video object segmentation. Code is available at:
https://hkchengrex.github.io/Tracking-Anything-with-DEVA