Comprensione della Robustezza del Recupero per la Generazione di Didascalie Immagini con Recupero Aumentato

Understanding Retrieval Robustness for Retrieval-Augmented Image Captioning

June 4, 2024

Autori: Wenyan Li, Jiaang Li, Rita Ramos, Raphael Tang, Desmond Elliott

cs.AI

Abstract

I recenti progressi nei modelli potenziati dal recupero per la generazione di didascalie di immagini evidenziano i vantaggi del recupero di didascalie correlate per modelli efficienti e leggeri con forti capacità di trasferimento di dominio. Sebbene questi modelli dimostrino il successo del potenziamento tramite recupero, i modelli di recupero sono ancora lontani dall'essere perfetti nella pratica: le informazioni recuperate possono talvolta fuorviare il modello, portando a una generazione errata e a prestazioni peggiori. In questo articolo, analizziamo la robustezza di un modello di generazione di didascalie potenziato dal recupero, SmallCap. La nostra analisi mostra che il modello è sensibile ai token che compaiono nella maggior parte delle didascalie recuperate, e l'attribuzione dell'input indica che tali token hanno una probabilità elevata di essere copiati nell'output generato. Alla luce di questi risultati, proponiamo di addestrare il modello campionando didascalie recuperate da insiemi più diversificati. Ciò riduce la probabilità che il modello impari a copiare i token maggioritari e migliora le prestazioni sia in dominio che in cross-dominio.

English

Recent advances in retrieval-augmented models for image captioning highlight the benefit of retrieving related captions for efficient, lightweight models with strong domain-transfer capabilities. While these models demonstrate the success of retrieval augmentation, retrieval models are still far from perfect in practice: the retrieved information can sometimes mislead the model, resulting in incorrect generation and worse performance. In this paper, we analyze the robustness of a retrieval-augmented captioning model SmallCap. Our analysis shows that the model is sensitive to tokens that appear in the majority of the retrieved captions, and the input attribution shows that those tokens are likely copied into the generated output. Given these findings, we propose to train the model by sampling retrieved captions from more diverse sets. This decreases the chance that the model learns to copy majority tokens, and improves both in-domain and cross-domain performance.