アップサンプル・エニシング：特徴アップサンプリングのためのシンプルで強力なベースライン

Upsample Anything: A Simple and Hard to Beat Baseline for Feature Upsampling

November 20, 2025

著者: Minseok Seo, Mark Hamilton, Changick Kim

cs.AI

要旨

本論文では、低解像度の特徴量をピクセル単位の高解像度出力に復元する、学習を必要としない軽量なテスト時最適化（TTO）フレームワーク「Upsample Anything」を提案する。視覚基盤モデルは多様な下流タスクにおいて強力な汎化性能を示すが、その表現は通常14倍/16倍（例：ViT）にダウンサンプリングされており、ピクセルレベルでの応用を直接制限している。既存の特徴量アップサンプリング手法は、データセット依存の再学習または重い暗黙的最適化に依存しており、拡張性と汎化性を制限する。Upsample Anythingは、空間的手がかりと範囲手がかりを組み合わせた異方性ガウシアンカーネルを学習する、画像ごとの簡素な最適化によりこれらの課題を解決し、ガウシアンスプラッティングとジョイントバイラテラルアップサンプリングを効果的に橋渡しする。学習されたカーネルは、アーキテクチャやモダリティを超えてシームレスに転移する普遍的なエッジ認識演算子として機能し、特徴量、深度、または確率マップの精密な高解像度再構成を可能にする。本手法は224x224画像あたり約0.419秒で動作し、セマンティックセグメンテーション、深度推定、および深度マップと確率マップのアップサンプリングにおいて最先端の性能を達成する。プロジェクトページ: https://seominseok0429.github.io/Upsample-Anything/

English

We present Upsample Anything, a lightweight test-time optimization (TTO) framework that restores low-resolution features to high-resolution, pixel-wise outputs without any training. Although Vision Foundation Models demonstrate strong generalization across diverse downstream tasks, their representations are typically downsampled by 14x/16x (e.g., ViT), which limits their direct use in pixel-level applications. Existing feature upsampling approaches depend on dataset-specific retraining or heavy implicit optimization, restricting scalability and generalization. Upsample Anything addresses these issues through a simple per-image optimization that learns an anisotropic Gaussian kernel combining spatial and range cues, effectively bridging Gaussian Splatting and Joint Bilateral Upsampling. The learned kernel acts as a universal, edge-aware operator that transfers seamlessly across architectures and modalities, enabling precise high-resolution reconstruction of features, depth, or probability maps. It runs in only approx0.419 s per 224x224 image and achieves state-of-the-art performance on semantic segmentation, depth estimation, and both depth and probability map upsampling. Project page: https://seominseok0429.github.io/Upsample-Anything/{https://seominseok0429.github.io/Upsample-Anything/}