한 번의 응시로 충분하다: SimLoss를 활용한 단일 패스 세밀한 이미지 캡셔닝

초록

이미지 한 장이 천 마디 말보다 더 가치 있을 수 있지만, 대부분의 캡셔닝 모델은 그 이미지를 몇 마디로만 묘사한다. 최신 비전-언어 모델은 유창한 개괄적 캡션을 생성하지만, 이미지를 시각적으로 구체적으로 만들어 주는 속성, 개수, 질감, 재질, 공간적 관계는 빠뜨리기 일쑤다. 최근의 다단계 시스템은 생성, 분해, 검증, 재작성을 통해 이러한 세부 정보의 일부를 복구하지만, 그 대가로 추론 지연 시간이 크게 증가한다. 우리는 단일 패스의 세밀한 이미지 캡셔닝을 위한, 참조가 필요 없는 임베딩 공간 목적 함수인 SimLoss를 제안한다. SimLoss는 InfoNCE 대조 손실을 통해 비전-언어 모델이 투영된 은닉 상태 표현을 동결된 이미지 임베딩과 정렬하도록 학습시키며, 텍스트가 디코딩되기 전에 조밀한 시각적 감독 신호를 제공한다. 따라서 사람이 작성한 세밀한 캡션도, 다단계 파이프라인에서 생성된 의사 캡션도 요구하지 않는다. 우리는 이 SimLoss를 로컬에서 사용 가능한 임베딩 모델을 통해 역전파하는 SimLoss FFT와, 그 모델을 블랙박스 보상으로 취급하는 SimLoss GRPO로 구현한다. 단일 패스 방식, 다단계 검증 방식, 보상 최적화 방식, 지각 인식(perception-aware) 방식의 베이스라인들과 비교했을 때, 완전히 미분 가능한 미세 조정 변형인 SimLoss FFT는 가장 높은 정밀도를 달성하면서 다단계 방식의 F1 점수에 근접한다. 또한 단일 패스 추론을 유지하면서 다단계 파이프라인보다 약 20배 빠르게 동작한다. 보상 기반 변형인 SimLoss GRPO는 가장 높은 재현율을 달성한다. 종합하면, 이러한 결과들은 임베딩 공간에서의 감독이 단일 패스 캡셔너 수준의 지연 시간으로도 다단계 검증의 품질을 확보할 수 있음을 보여준다.

English

An image may be worth a thousand words, but most captioning models describe it in only a few. Modern vision-language models produce fluent high-level captions, yet routinely miss the attributes, counts, textures, materials, and spatial relations that make an image visually specific. Recent multi-stage systems recover some of these details through generation, decomposition, verification, and rewriting, but they do so at the expense of substantially higher inference latency. We propose SimLoss, a reference-free embedding-space objective for single-pass fine-grained image captioning. SimLoss trains a vision-language model to align its projected hidden-state representation with a frozen image embedding through an InfoNCE contrastive loss, supplying a dense visual supervision signal before any text is decoded, and requiring neither human-written fine-grained captions nor pseudo-captions from a multi-stage pipeline. We instantiate it as SimLoss FFT, which backpropagates through a locally available embedding model, and SimLoss GRPO, which treats that model as a black-box reward. Compared with single-pass, multi-stage verification, reward-optimized, and perception-aware baselines, the fully differentiable fine-tuning variant, SimLoss FFT, achieves the highest precision while nearly matching the F1 score of the multi-stage method, all while retaining single-pass inference and running roughly 20 times faster than the multi-stage pipeline. The reward-based variant SimLoss GRPO attains the strongest recall. Together, these results show that embedding-space supervision can recover the quality of multi-stage verification at the latency of a single-pass captioner.