О Надежности Языкового Руководства для Задач Низкоуровневого Зрения: Результаты Оценки Глубины

On the Robustness of Language Guidance for Low-Level Vision Tasks: Findings from Depth Estimation

April 12, 2024

Авторы: Agneet Chatterjee, Tejas Gokhale, Chitta Baral, Yezhou Yang

cs.AI

Аннотация

Недавние достижения в оценке монокулярной глубины были достигнуты путем включения естественного языка в качестве дополнительного руководства. Хотя это привело к впечатляющим результатам, влияние языкового априори, особенно с точки зрения обобщения и устойчивости, остается неизученным. В данной статье мы заполняем этот пробел, количественно оценивая влияние этого априори и представляя методы для оценки его эффективности в различных ситуациях. Мы создаем "низкоуровневые" предложения, передающие объектно-центрические трехмерные пространственные отношения, включаем их в качестве дополнительных языковых априори и оцениваем их последующее влияние на оценку глубины. Нашим ключевым выводом является то, что текущие оцениватели глубины, направляемые языком, работают оптимально только с описаниями на уровне сцены и, что противоречиво, показывают худшие результаты с низкоуровневыми описаниями. Несмотря на использование дополнительных данных, эти методы не устойчивы к направленным атакам и теряют в производительности при увеличении сдвига распределения. Наконец, чтобы заложить основу для будущих исследований, мы выявляем точки отказа и предлагаем идеи для лучшего понимания этих недостатков. С увеличением числа методов, использующих язык для оценки глубины, наши результаты подчеркивают возможности и подводные камни, требующие внимательного рассмотрения для эффективного применения в реальных условиях.

English

Recent advances in monocular depth estimation have been made by incorporating natural language as additional guidance. Although yielding impressive results, the impact of the language prior, particularly in terms of generalization and robustness, remains unexplored. In this paper, we address this gap by quantifying the impact of this prior and introduce methods to benchmark its effectiveness across various settings. We generate "low-level" sentences that convey object-centric, three-dimensional spatial relationships, incorporate them as additional language priors and evaluate their downstream impact on depth estimation. Our key finding is that current language-guided depth estimators perform optimally only with scene-level descriptions and counter-intuitively fare worse with low level descriptions. Despite leveraging additional data, these methods are not robust to directed adversarial attacks and decline in performance with an increase in distribution shift. Finally, to provide a foundation for future research, we identify points of failures and offer insights to better understand these shortcomings. With an increasing number of methods using language for depth estimation, our findings highlight the opportunities and pitfalls that require careful consideration for effective deployment in real-world settings