Neubewertung der Patch-Abhängigkeit für maskierte Autoencoder
Rethinking Patch Dependence for Masked Autoencoders
January 25, 2024
Autoren: Letian Fu, Long Lian, Renhao Wang, Baifeng Shi, Xudong Wang, Adam Yala, Trevor Darrell, Alexei A. Efros, Ken Goldberg
cs.AI
Zusammenfassung
In dieser Arbeit untersuchen wir erneut die Abhängigkeiten zwischen Patches im Decodierungsmechanismus von Masked Autoencoders (MAE). Wir zerlegen diesen Decodierungsmechanismus für die Rekonstruktion maskierter Patches in MAE in Self-Attention und Cross-Attention. Unsere Untersuchungen legen nahe, dass Self-Attention zwischen maskierten Patches nicht essenziell für das Erlernen guter Repräsentationen ist. Zu diesem Zweck schlagen wir ein neuartiges Pre-Training-Framework vor: Cross-Attention Masked Autoencoders (CrossMAE). Der Decoder von CrossMAE nutzt ausschließlich Cross-Attention zwischen maskierten und sichtbaren Tokens, ohne dabei die Leistung in nachgelagerten Aufgaben zu beeinträchtigen. Dieses Design ermöglicht es zudem, nur eine kleine Teilmenge der maskierten Tokens zu decodieren, was die Effizienz steigert. Darüber hinaus kann jeder Decoder-Block nun unterschiedliche Encoder-Features nutzen, was zu einer verbesserten Repräsentationslernfähigkeit führt. CrossMAE erreicht die Leistung von MAE mit 2,5- bis 3,7-mal weniger Decodierungsrechenaufwand. Es übertrifft MAE auch bei der ImageNet-Klassifikation und der COCO-Instanzsegmentierung unter gleichem Rechenaufwand. Code und Modelle: https://crossmae.github.io
English
In this work, we re-examine inter-patch dependencies in the decoding
mechanism of masked autoencoders (MAE). We decompose this decoding mechanism
for masked patch reconstruction in MAE into self-attention and cross-attention.
Our investigations suggest that self-attention between mask patches is not
essential for learning good representations. To this end, we propose a novel
pretraining framework: Cross-Attention Masked Autoencoders (CrossMAE).
CrossMAE's decoder leverages only cross-attention between masked and visible
tokens, with no degradation in downstream performance. This design also enables
decoding only a small subset of mask tokens, boosting efficiency. Furthermore,
each decoder block can now leverage different encoder features, resulting in
improved representation learning. CrossMAE matches MAE in performance with 2.5
to 3.7times less decoding compute. It also surpasses MAE on ImageNet
classification and COCO instance segmentation under the same compute. Code and
models: https://crossmae.github.io