Sobre la Robustez de la Guía Lingüística en Tareas de Visión de Bajo Nivel: Hallazgos en la Estimación de Profundidad

On the Robustness of Language Guidance for Low-Level Vision Tasks: Findings from Depth Estimation

April 12, 2024

Autores: Agneet Chatterjee, Tejas Gokhale, Chitta Baral, Yezhou Yang

cs.AI

Resumen

Los recientes avances en la estimación de profundidad monocular han incorporado el lenguaje natural como guía adicional. Aunque estos avances han producido resultados impresionantes, el impacto del lenguaje como prior, particularmente en términos de generalización y robustez, sigue sin explorarse. En este artículo, abordamos esta brecha cuantificando el impacto de esta prior e introduciendo métodos para evaluar su efectividad en diversos escenarios. Generamos oraciones de "bajo nivel" que transmiten relaciones espaciales tridimensionales centradas en objetos, las incorporamos como prior de lenguaje adicional y evaluamos su impacto en la estimación de profundidad. Nuestro hallazgo clave es que los estimadores de profundidad guiados por lenguaje actuales funcionan de manera óptima solo con descripciones a nivel de escena y, de manera contraintuitiva, obtienen peores resultados con descripciones de bajo nivel. A pesar de aprovechar datos adicionales, estos métodos no son robustos frente a ataques adversarios dirigidos y su rendimiento disminuye con un aumento en el cambio de distribución. Finalmente, para sentar las bases de investigaciones futuras, identificamos puntos de falla y ofrecemos insights para comprender mejor estas limitaciones. Con un número creciente de métodos que utilizan el lenguaje para la estimación de profundidad, nuestros hallazgos resaltan las oportunidades y los desafíos que requieren una consideración cuidadosa para su implementación efectiva en entornos del mundo real.

English

Recent advances in monocular depth estimation have been made by incorporating natural language as additional guidance. Although yielding impressive results, the impact of the language prior, particularly in terms of generalization and robustness, remains unexplored. In this paper, we address this gap by quantifying the impact of this prior and introduce methods to benchmark its effectiveness across various settings. We generate "low-level" sentences that convey object-centric, three-dimensional spatial relationships, incorporate them as additional language priors and evaluate their downstream impact on depth estimation. Our key finding is that current language-guided depth estimators perform optimally only with scene-level descriptions and counter-intuitively fare worse with low level descriptions. Despite leveraging additional data, these methods are not robust to directed adversarial attacks and decline in performance with an increase in distribution shift. Finally, to provide a foundation for future research, we identify points of failures and offer insights to better understand these shortcomings. With an increasing number of methods using language for depth estimation, our findings highlight the opportunities and pitfalls that require careful consideration for effective deployment in real-world settings