JAFAR：任意の解像度で任意の特徴を強調

要旨

Foundation Vision Encoderは、多様な高密度視覚タスクにおいて不可欠な存在となっています。しかし、その低解像度の空間特徴出力は、下流タスクに必要な高解像度モダリティを生成するために特徴アップサンプリングを必要とします。本研究では、任意のFoundation Vision Encoderから得られる視覚特徴の空間解像度を任意の目標解像度に向上させる、軽量で柔軟な特徴アップサンプラーであるJAFARを提案します。JAFARは、低レベル画像特徴から導出された高解像度クエリと、意味的に豊かな低解像度キーとの間のセマンティックアラインメントを促進するように設計されたアテンションベースのモジュールを採用し、Spatial Feature Transform（SFT）変調を利用します。特に、高解像度の教師信号が存在しないにもかかわらず、低いアップサンプリング比率と解像度での学習が、大幅に高い出力スケールに驚くほどよく一般化することを実証します。広範な実験により、JAFARが微細な空間的詳細を効果的に回復し、多様な下流タスクにおいて既存の特徴アップサンプリング手法を一貫して上回ることを示しています。プロジェクトページはhttps://jafar-upsampler.github.ioにあります。

English

Foundation Vision Encoders have become essential for a wide range of dense vision tasks. However, their low-resolution spatial feature outputs necessitate feature upsampling to produce the high-resolution modalities required for downstream tasks. In this work, we introduce JAFAR, a lightweight and flexible feature upsampler that enhances the spatial resolution of visual features from any Foundation Vision Encoder to an arbitrary target resolution. JAFAR employs an attention-based module designed to promote semantic alignment between high-resolution queries, derived from low-level image features, and semantically enriched low-resolution keys, using Spatial Feature Transform (SFT) modulation. Notably, despite the absence of high-resolution supervision, we demonstrate that learning at low upsampling ratios and resolutions generalizes remarkably well to significantly higher output scales. Extensive experiments show that JAFAR effectively recovers fine-grained spatial details and consistently outperforms existing feature upsampling methods across a diverse set of downstream tasks. Project page at https://jafar-upsampler.github.io

JAFAR：任意の解像度で任意の特徴を強調

JAFAR: Jack up Any Feature at Any Resolution

要旨

Support