Het begrijpen van de robuustheid van retrievals voor retrieval-augmented beeldbeschrijving

Understanding Retrieval Robustness for Retrieval-Augmented Image Captioning

June 4, 2024

Auteurs: Wenyan Li, Jiaang Li, Rita Ramos, Raphael Tang, Desmond Elliott

cs.AI

Samenvatting

Recente vooruitgang in retrieval-augmented modellen voor beeldbeschrijving benadrukt het voordeel van het ophalen van gerelateerde bijschriften voor efficiënte, lichtgewicht modellen met sterke domeinoverdrachtsmogelijkheden. Hoewel deze modellen het succes van retrieval-augmentatie aantonen, zijn retrieval-modellen in de praktijk nog verre van perfect: de opgehaalde informatie kan het model soms misleiden, wat resulteert in onjuiste generatie en slechtere prestaties. In dit artikel analyseren we de robuustheid van het retrieval-augmented beeldbeschrijvingsmodel SmallCap. Onze analyse toont aan dat het model gevoelig is voor tokens die in de meerderheid van de opgehaalde bijschriften voorkomen, en de input-attributie laat zien dat deze tokens waarschijnlijk worden gekopieerd naar de gegenereerde uitvoer. Gezien deze bevindingen stellen we voor om het model te trainen door opgehaalde bijschriften te selecteren uit meer diverse sets. Dit verkleint de kans dat het model leert om meerderheidstokens te kopiëren en verbetert zowel de prestaties binnen het domein als over domeinen heen.

English

Recent advances in retrieval-augmented models for image captioning highlight the benefit of retrieving related captions for efficient, lightweight models with strong domain-transfer capabilities. While these models demonstrate the success of retrieval augmentation, retrieval models are still far from perfect in practice: the retrieved information can sometimes mislead the model, resulting in incorrect generation and worse performance. In this paper, we analyze the robustness of a retrieval-augmented captioning model SmallCap. Our analysis shows that the model is sensitive to tokens that appear in the majority of the retrieved captions, and the input attribution shows that those tokens are likely copied into the generated output. Given these findings, we propose to train the model by sampling retrieved captions from more diverse sets. This decreases the chance that the model learns to copy majority tokens, and improves both in-domain and cross-domain performance.