Sulla Robustezza della Guida Linguistica per Compiti di Visione a Basso Livello: Risultati dalla Stima della Profondità

On the Robustness of Language Guidance for Low-Level Vision Tasks: Findings from Depth Estimation

April 12, 2024

Autori: Agneet Chatterjee, Tejas Gokhale, Chitta Baral, Yezhou Yang

cs.AI

Abstract

I recenti progressi nella stima della profondità monoculare sono stati ottenuti incorporando il linguaggio naturale come guida aggiuntiva. Sebbene i risultati siano impressionanti, l'impatto del prior linguistico, in particolare in termini di generalizzazione e robustezza, rimane inesplorato. In questo articolo, affrontiamo questa lacuna quantificando l'impatto di questo prior e introducendo metodi per valutarne l'efficacia in vari contesti. Generiamo frasi di "basso livello" che trasmettono relazioni spaziali tridimensionali centrate sugli oggetti, le incorporiamo come prior linguistici aggiuntivi e valutiamo il loro impatto sulla stima della profondità. La nostra scoperta chiave è che gli attuali stimatori di profondità guidati dal linguaggio performano in modo ottimale solo con descrizioni a livello di scena e, controintuitivamente, ottengono risultati peggiori con descrizioni di basso livello. Nonostante l'utilizzo di dati aggiuntivi, questi metodi non sono robusti agli attacchi avversari mirati e vedono un calo delle prestazioni con un aumento dello spostamento della distribuzione. Infine, per fornire una base per la ricerca futura, identifichiamo i punti di fallimento e offriamo approfondimenti per comprendere meglio queste carenze. Con un numero crescente di metodi che utilizzano il linguaggio per la stima della profondità, i nostri risultati evidenziano le opportunità e le insidie che richiedono un'attenta considerazione per un impiego efficace in contesti reali.

English

Recent advances in monocular depth estimation have been made by incorporating natural language as additional guidance. Although yielding impressive results, the impact of the language prior, particularly in terms of generalization and robustness, remains unexplored. In this paper, we address this gap by quantifying the impact of this prior and introduce methods to benchmark its effectiveness across various settings. We generate "low-level" sentences that convey object-centric, three-dimensional spatial relationships, incorporate them as additional language priors and evaluate their downstream impact on depth estimation. Our key finding is that current language-guided depth estimators perform optimally only with scene-level descriptions and counter-intuitively fare worse with low level descriptions. Despite leveraging additional data, these methods are not robust to directed adversarial attacks and decline in performance with an increase in distribution shift. Finally, to provide a foundation for future research, we identify points of failures and offer insights to better understand these shortcomings. With an increasing number of methods using language for depth estimation, our findings highlight the opportunities and pitfalls that require careful consideration for effective deployment in real-world settings