一目で十分：SimLossを用いたシングルパスきめ細かい画像キャプショニング

要旨

1枚の画像は千の言葉に値するかもしれないが、ほとんどのキャプション生成モデルは、それをわずかな言葉でしか説明しない。現代の視覚言語モデルは、流働でありながら概略的なキャプションを生成する一方で、画像を視覚的に特徴づける属性、数、質感、素材、空間関係を恒常的に見落とす。最近の多段階システムは、生成、分解、検証、書き換えを通じてこれらの詳細の一部を回復できるが、それには推論レイテンシの大幅な増加という代償が伴う。本稿では、シングルパスでの詳細な画像キャプション生成のための、参照不要の埋め込み空間目的関数SimLossを提案する。SimLossは、視覚言語モデルに対し、InfoNCE対比損失を通じて、射影された隠れ状態表現を凍結済みの画像埋め込みと整合させるよう訓練する。これにより、テキスト復号に先立って密な視覚的教師信号が供給され、人手で書かれた詳細なキャプションも、多段階パイプラインによる擬似キャプションも必要としない。本手法は、ローカルで利用可能な埋め込みモデルを介して逆伝播するSimLoss FFTと、そのモデルをブラックボックスの報酬として扱うSimLoss GRPOという2つの変種として実装される。シングルパス方式、多段階検証方式、報酬最適化方式、知覚認識型方式の各ベースラインと比較して、完全微分可能なファインチューニング変種であるSimLoss FFTは、最も高い適合率を達成しつつ、F1スコアは多段階方式にほぼ匹敵する。しかも、シングルパス推論を維持したまま、多段階パイプラインの約20倍の速さで動作する。報酬ベースの変種であるSimLoss GRPOは、最も高い再現率を達成する。これらの結果は総合的に、埋め込み空間における教師信号が、シングルパスのキャプション生成モデルと同等のレイテンシで、多段階検証の品質を回復できることを示している。

English

An image may be worth a thousand words, but most captioning models describe it in only a few. Modern vision-language models produce fluent high-level captions, yet routinely miss the attributes, counts, textures, materials, and spatial relations that make an image visually specific. Recent multi-stage systems recover some of these details through generation, decomposition, verification, and rewriting, but they do so at the expense of substantially higher inference latency. We propose SimLoss, a reference-free embedding-space objective for single-pass fine-grained image captioning. SimLoss trains a vision-language model to align its projected hidden-state representation with a frozen image embedding through an InfoNCE contrastive loss, supplying a dense visual supervision signal before any text is decoded, and requiring neither human-written fine-grained captions nor pseudo-captions from a multi-stage pipeline. We instantiate it as SimLoss FFT, which backpropagates through a locally available embedding model, and SimLoss GRPO, which treats that model as a black-box reward. Compared with single-pass, multi-stage verification, reward-optimized, and perception-aware baselines, the fully differentiable fine-tuning variant, SimLoss FFT, achieves the highest precision while nearly matching the F1 score of the multi-stage method, all while retaining single-pass inference and running roughly 20 times faster than the multi-stage pipeline. The reward-based variant SimLoss GRPO attains the strongest recall. Together, these results show that embedding-space supervision can recover the quality of multi-stage verification at the latency of a single-pass captioner.