Von Erkenntnissen zu Handlungen: Die Auswirkungen von Interpretierbarkeit und Analyse Forschung im Bereich der natürlichen Sprachverarbeitung

From Insights to Actions: The Impact of Interpretability and Analysis Research on NLP

June 18, 2024

Autoren: Marius Mosbach, Vagrant Gautam, Tomás Vergara-Browne, Dietrich Klakow, Mor Geva

cs.AI

Zusammenfassung

Die Forschung zur Interpretierbarkeit und Analyse (IA) ist ein wachsendes Teilgebiet innerhalb der NLP mit dem Ziel, ein tieferes Verständnis des Verhaltens oder der inneren Funktionsweise von NLP-Systemen und -Methoden zu entwickeln. Trotz des wachsenden Interesses an diesem Teilgebiet wird häufig kritisiert, dass es an umsetzbaren Erkenntnissen mangelt und daher wenig Einfluss auf die NLP hat. In diesem Artikel versuchen wir, den Einfluss der IA-Forschung auf das breitere Feld der NLP zu quantifizieren. Wir gehen dies mit einer Mixed-Methods-Analyse an: (1) einem Zitationsgraphen von über 185.000 Papieren, der aus allen auf den ACL- und EMNLP-Konferenzen von 2018 bis 2023 veröffentlichten Papieren erstellt wurde, und (2) einer Umfrage unter 138 Mitgliedern der NLP-Community. Unsere quantitativen Ergebnisse zeigen, dass die IA-Arbeit außerhalb der IA gut zitiert wird und im Zitationsgraphen der NLP eine zentrale Rolle spielt. Durch die qualitative Analyse von Umfrageantworten und die manuelle Annotation von 556 Papieren stellen wir fest, dass NLP-Forscher auf Erkenntnissen aus der IA-Arbeit aufbauen und diese als wichtig für den Fortschritt in der NLP sowie in mehreren Teilgebieten betrachten und sich auf deren Erkenntnisse und Terminologie für ihre eigene Arbeit verlassen. Viele neue Methoden werden auf der Grundlage von IA-Erkenntnissen vorgeschlagen und sind stark von ihnen beeinflusst, aber hoch einflussreiche nicht-IA-Arbeiten zitieren IA-Erkenntnisse, ohne von ihnen angetrieben zu werden. Wir schließen mit einer Zusammenfassung dessen, was in der IA-Arbeit heute fehlt, und geben einen Appell, um den Weg für eine wirkungsvollere Zukunft der IA-Forschung zu ebnen.

English

Interpretability and analysis (IA) research is a growing subfield within NLP with the goal of developing a deeper understanding of the behavior or inner workings of NLP systems and methods. Despite growing interest in the subfield, a commonly voiced criticism is that it lacks actionable insights and therefore has little impact on NLP. In this paper, we seek to quantify the impact of IA research on the broader field of NLP. We approach this with a mixed-methods analysis of: (1) a citation graph of 185K+ papers built from all papers published at ACL and EMNLP conferences from 2018 to 2023, and (2) a survey of 138 members of the NLP community. Our quantitative results show that IA work is well-cited outside of IA, and central in the NLP citation graph. Through qualitative analysis of survey responses and manual annotation of 556 papers, we find that NLP researchers build on findings from IA work and perceive it is important for progress in NLP, multiple subfields, and rely on its findings and terminology for their own work. Many novel methods are proposed based on IA findings and highly influenced by them, but highly influential non-IA work cites IA findings without being driven by them. We end by summarizing what is missing in IA work today and provide a call to action, to pave the way for a more impactful future of IA research.