Zur Robustheit von Sprachanleitungen für Low-Level-Vision-Aufgaben: Erkenntnisse aus der Tiefenschätzung

On the Robustness of Language Guidance for Low-Level Vision Tasks: Findings from Depth Estimation

April 12, 2024

Autoren: Agneet Chatterjee, Tejas Gokhale, Chitta Baral, Yezhou Yang

cs.AI

Zusammenfassung

In jüngster Zeit wurden Fortschritte bei der monokularen Tiefenschätzung erzielt, indem natürliche Sprache als zusätzliche Anleitung integriert wurde. Obwohl beeindruckende Ergebnisse erzielt wurden, bleibt der Einfluss der Sprachpriorität, insbesondere in Bezug auf Verallgemeinerung und Robustheit, unerforscht. In diesem Artikel adressieren wir diese Lücke, indem wir den Einfluss dieses Priors quantifizieren und Methoden vorstellen, um seine Wirksamkeit in verschiedenen Einstellungen zu bewerten. Wir generieren "niedrigstufige" Sätze, die objektorientierte, dreidimensionale räumliche Beziehungen vermitteln, integrieren sie als zusätzliche Sprachprioritäten und bewerten ihre Auswirkungen auf die Tiefenschätzung. Unsere wichtigste Erkenntnis ist, dass aktuelle, sprachgesteuerte Tiefenschätzer nur optimal mit Szenenbeschreibungen funktionieren und paradoxerweise mit niedrigstufigen Beschreibungen schlechter abschneiden. Trotz der Nutzung zusätzlicher Daten sind diese Methoden nicht robust gegen gerichtete adversarielle Angriffe und die Leistung nimmt mit einer Zunahme von Verteilungsverschiebungen ab. Abschließend identifizieren wir, um eine Grundlage für zukünftige Forschung zu schaffen, Fehlerpunkte und bieten Einblicke, um diese Mängel besser zu verstehen. Mit einer zunehmenden Anzahl von Methoden, die Sprache für die Tiefenschätzung nutzen, heben unsere Ergebnisse die Chancen und Fallstricke hervor, die sorgfältig berücksichtigt werden müssen, um eine effektive Implementierung in realen Umgebungen zu gewährleisten.

English

Recent advances in monocular depth estimation have been made by incorporating natural language as additional guidance. Although yielding impressive results, the impact of the language prior, particularly in terms of generalization and robustness, remains unexplored. In this paper, we address this gap by quantifying the impact of this prior and introduce methods to benchmark its effectiveness across various settings. We generate "low-level" sentences that convey object-centric, three-dimensional spatial relationships, incorporate them as additional language priors and evaluate their downstream impact on depth estimation. Our key finding is that current language-guided depth estimators perform optimally only with scene-level descriptions and counter-intuitively fare worse with low level descriptions. Despite leveraging additional data, these methods are not robust to directed adversarial attacks and decline in performance with an increase in distribution shift. Finally, to provide a foundation for future research, we identify points of failures and offer insights to better understand these shortcomings. With an increasing number of methods using language for depth estimation, our findings highlight the opportunities and pitfalls that require careful consideration for effective deployment in real-world settings