TransNormal-2: 幾何学に基づく整流フローとエッジ考慮デコーディングによる高精度な法線推定

要旨

拡散ベースモデルは単眼幾何推定を可能にするが、そのピクセル空間における精度は、共通かつ十分に研究されていない誤差源、すなわち VAE 再構成劣化によって制限される。VAE エンコーダ・デコーダにおける 8 倍の空間圧縮は物体境界の表面法線を劣化させる。正解法線を符号化・復号するだけでも 1.3～8.5° の平均角度誤差（MAE）が生じ、エッジの MAE は全体の MAE の 2.8 倍に達する。我々は TransNormal-2 を提案する。これは FLUX.2 に基づく Rectified Flow フレームワークであり、単一ステップの決定論的推論を備え、VAE デコーダの両側でこの劣化に対処する。すなわち、訓練中に潜在予測をどのように監督するか、および推論時に復号された法線をどのように補正するかである。第一に、幾何認識型ピクセル空間損失（逆レンダリング自己整合性、von Mises-Fisher 角度損失、ウェーブレットエッジ認識正則化を含む）は、VAE 復号後に球面上の法線幾何と拡散画像形成の手掛かりを強制することにより、潜在 MSE を補完する。第二に、軽量な幾何リファインメントモジュール（GRM）が RGB ガイド付き残差補正を適用し、粗い予測を自由に書き換えることなく、境界に局在する復号誤差を低減する。一般シーンベンチマークにおいて、TransNormal-2 は報告された全 8 指標で MoGe-2 に匹敵するかそれを上回り、しかもタスク固有の法線アノテーションは 1.4% しか使用しない。その利得は透明物体で最も明確であり、最強の先行ベースラインと比較して、ClearGrasp で MAE を 4.2°、ClearPose で 3.1° 低減する。コードは https://longxiang-ai.github.io/TransNormal-2 で公開予定である。

English

Diffusion-based models enable monocular geometry estimation, yet their pixel-space precision is limited by a shared, under-studied error source: VAE reconstruction degradation. The 8x spatial compression in the VAE encoder-decoder degrades surface normals at object boundaries; even encoding and decoding ground-truth normals introduces 1.3--8.5° of mean angular error (MAE), with edge MAE reaching 2.8x the global MAE. We present TransNormal-2, a FLUX.2-based rectified-flow framework with single-step deterministic inference that addresses this degradation on both sides of the VAE decoder: in how latent predictions are supervised during training, and in how decoded normals are corrected at inference. First, geometry-aware pixel-space losses, including inverse rendering self-consistency, von~Mises-Fisher angular loss, and wavelet edge-aware regularization, complement latent MSE by enforcing spherical normal geometry and diffuse image-formation cues after VAE decoding. Second, a lightweight Geometric Refinement Module (GRM) applies an RGB-guided residual correction to reduce boundary-localized decoding errors without freely rewriting the coarse prediction. On general-scene benchmarks, TransNormal-2 matches or exceeds MoGe-2 on all eight reported metrics while using only 1.4% as many task-specific normal annotations. The gains are clearest for transparent objects, reducing MAE by 4.2° on ClearGrasp and 3.1° on ClearPose over the strongest prior baselines. Code will be released at https://longxiang-ai.github.io/TransNormal-2.