AnyUp：ユニバーサル特徴アップサンプリング

要旨

本論文では、AnyUpという特徴量アップサンプリング手法を提案する。この手法は、特定のエンコーダーに依存することなく、任意の解像度の視覚特徴量に適用可能である。既存の学習ベースのアップサンプラー（DINOやCLIPなど）は、特徴抽出器ごとに再学習が必要であり、推論時に異なる特徴量タイプに一般化できないという課題があった。本研究では、この制約を緩和し、アップサンプリング品質を向上させるため、推論時に特徴量に依存しないアップサンプリングアーキテクチャを提案する。実験の結果、AnyUpはアップサンプリングされた特徴量において新たな最先端性能を達成し、異なる特徴量タイプに一般化可能であることが示された。さらに、特徴量の意味を保持しつつ、効率的で幅広い下流タスクに容易に適用可能であることを実証した。

English

We introduce AnyUp, a method for feature upsampling that can be applied to any vision feature at any resolution, without encoder-specific training. Existing learning-based upsamplers for features like DINO or CLIP need to be re-trained for every feature extractor and thus do not generalize to different feature types at inference time. In this work, we propose an inference-time feature-agnostic upsampling architecture to alleviate this limitation and improve upsampling quality. In our experiments, AnyUp sets a new state of the art for upsampled features, generalizes to different feature types, and preserves feature semantics while being efficient and easy to apply to a wide range of downstream tasks.

AnyUp：ユニバーサル特徴アップサンプリング

AnyUp: Universal Feature Upsampling

要旨

Support