R-MAE: 영역 기반 마스크드 오토인코더

초록

"영역(region)"과 같은 비전 특화 개념은 일반적인 머신러닝 프레임워크를 객체 탐지와 같은 작업으로 확장하는 데 핵심적인 역할을 해왔습니다. 지도 학습을 위한 영역 기반 탐지기의 성공과 대조 학습을 위한 이미지 내부 방법의 발전을 고려하여, 우리는 재구성 사전 학습을 위해 영역을 활용하는 방법을 탐구합니다. 마스크드 오토인코딩(MAE)을 기준선이자 영감의 원천으로 삼아, 이미지와 영역 간의 일대다 매핑을 해결하기 위해 맞춤화된 병렬 사전 작업을 제안합니다. 이러한 영역은 비지도 방식으로 생성될 수 있기 때문에, 우리의 접근법(R-MAE)은 MAE의 광범위한 적용성을 그대로 유지하면서도 더욱 "영역 인식적"입니다. R-MAE 개발 과정에서 철저한 분석을 수행했으며, 효과적이면서도 효율적인 변형(MAE 대비 1.3% 오버헤드)으로 수렴했습니다. 또한, 다양한 사전 학습 데이터와 하류 작업인 탐지 및 세분화 벤치마크에 일반화할 때 일관된 양적 개선을 보여줍니다. 마지막으로, R-MAE의 동작과 잠재력을 이해하기 위해 광범위한 정성적 시각화를 제공합니다. 코드는 https://github.com/facebookresearch/r-mae에서 공개될 예정입니다.

English

Vision-specific concepts such as "region" have played a key role in extending general machine learning frameworks to tasks like object detection. Given the success of region-based detectors for supervised learning and the progress of intra-image methods for contrastive learning, we explore the use of regions for reconstructive pre-training. Starting from Masked Autoencoding (MAE) both as a baseline and an inspiration, we propose a parallel pre-text task tailored to address the one-to-many mapping between images and regions. Since such regions can be generated in an unsupervised way, our approach (R-MAE) inherits the wide applicability from MAE, while being more "region-aware". We conduct thorough analyses during the development of R-MAE, and converge on a variant that is both effective and efficient (1.3% overhead over MAE). Moreover, it shows consistent quantitative improvements when generalized to various pre-training data and downstream detection and segmentation benchmarks. Finally, we provide extensive qualitative visualizations to enhance the understanding of R-MAE's behaviour and potential. Code will be made available at https://github.com/facebookresearch/r-mae.

R-MAE: 영역 기반 마스크드 오토인코더

R-MAE: Regions Meet Masked Autoencoders

초록

Support