De la comprensión a la acción: El impacto de la interpretabilidad y el análisis en la investigación sobre PLN

From Insights to Actions: The Impact of Interpretability and Analysis Research on NLP

June 18, 2024

Autores: Marius Mosbach, Vagrant Gautam, Tomás Vergara-Browne, Dietrich Klakow, Mor Geva

cs.AI

Resumen

La investigación en interpretabilidad y análisis (IA) es un subcampo en crecimiento dentro del procesamiento del lenguaje natural (PLN) que tiene como objetivo desarrollar una comprensión más profunda del comportamiento o el funcionamiento interno de los sistemas y métodos de PLN. A pesar del creciente interés en este subcampo, una crítica comúnmente expresada es que carece de insights prácticos y, por lo tanto, tiene poco impacto en el PLN. En este artículo, buscamos cuantificar el impacto de la investigación en IA en el campo más amplio del PLN. Abordamos esto con un análisis de métodos mixtos que incluye: (1) un grafo de citas de más de 185.000 artículos construido a partir de todos los trabajos publicados en las conferencias ACL y EMNLP entre 2018 y 2023, y (2) una encuesta a 138 miembros de la comunidad de PLN. Nuestros resultados cuantitativos muestran que los trabajos de IA son ampliamente citados fuera de este subcampo y ocupan un lugar central en el grafo de citas del PLN. A través del análisis cualitativo de las respuestas de la encuesta y la anotación manual de 556 artículos, encontramos que los investigadores de PLN se basan en los hallazgos de la investigación en IA y perciben que es importante para el avance del PLN y de múltiples subcampos, además de depender de sus hallazgos y terminología para su propio trabajo. Muchos métodos novedosos se proponen basándose en los hallazgos de IA y están altamente influenciados por ellos, aunque trabajos altamente influyentes fuera de la IA citan sus hallazgos sin estar impulsados por ellos. Concluimos resumiendo lo que falta en la investigación en IA actual y proporcionamos un llamado a la acción para allanar el camino hacia un futuro más impactante de la investigación en IA.

English

Interpretability and analysis (IA) research is a growing subfield within NLP with the goal of developing a deeper understanding of the behavior or inner workings of NLP systems and methods. Despite growing interest in the subfield, a commonly voiced criticism is that it lacks actionable insights and therefore has little impact on NLP. In this paper, we seek to quantify the impact of IA research on the broader field of NLP. We approach this with a mixed-methods analysis of: (1) a citation graph of 185K+ papers built from all papers published at ACL and EMNLP conferences from 2018 to 2023, and (2) a survey of 138 members of the NLP community. Our quantitative results show that IA work is well-cited outside of IA, and central in the NLP citation graph. Through qualitative analysis of survey responses and manual annotation of 556 papers, we find that NLP researchers build on findings from IA work and perceive it is important for progress in NLP, multiple subfields, and rely on its findings and terminology for their own work. Many novel methods are proposed based on IA findings and highly influenced by them, but highly influential non-IA work cites IA findings without being driven by them. We end by summarizing what is missing in IA work today and provide a call to action, to pave the way for a more impactful future of IA research.