De Insights a Ações: O Impacto da Interpretabilidade e Análise na Pesquisa em PLN

From Insights to Actions: The Impact of Interpretability and Analysis Research on NLP

June 18, 2024

Autores: Marius Mosbach, Vagrant Gautam, Tomás Vergara-Browne, Dietrich Klakow, Mor Geva

cs.AI

Resumo

A pesquisa em interpretabilidade e análise (IA) é um subcampo crescente dentro do PLN (Processamento de Linguagem Natural) com o objetivo de desenvolver um entendimento mais profundo do comportamento ou do funcionamento interno de sistemas e métodos de PLN. Apesar do crescente interesse no subcampo, uma crítica frequentemente mencionada é que ele carece de insights acionáveis e, portanto, tem pouco impacto no PLN. Neste artigo, buscamos quantificar o impacto da pesquisa em IA no campo mais amplo do PLN. Abordamos isso com uma análise de métodos mistos de: (1) um grafo de citações de mais de 185 mil artigos construído a partir de todos os trabalhos publicados nas conferências ACL e EMNLP entre 2018 e 2023, e (2) uma pesquisa com 138 membros da comunidade de PLN. Nossos resultados quantitativos mostram que o trabalho em IA é bem citado fora do campo de IA e é central no grafo de citações do PLN. Por meio de análise qualitativa das respostas da pesquisa e anotação manual de 556 artigos, descobrimos que os pesquisadores de PLN constroem sobre os achados do trabalho em IA e percebem que ele é importante para o progresso no PLN, em múltiplos subcampos, e dependem de seus achados e terminologia para seu próprio trabalho. Muitos métodos novos são propostos com base em descobertas de IA e altamente influenciados por elas, mas trabalhos altamente influentes fora do campo de IA citam descobertas de IA sem serem impulsionados por elas. Concluímos resumindo o que falta no trabalho em IA atualmente e fornecemos um chamado à ação, para pavimentar o caminho para um futuro mais impactante da pesquisa em IA.

English

Interpretability and analysis (IA) research is a growing subfield within NLP with the goal of developing a deeper understanding of the behavior or inner workings of NLP systems and methods. Despite growing interest in the subfield, a commonly voiced criticism is that it lacks actionable insights and therefore has little impact on NLP. In this paper, we seek to quantify the impact of IA research on the broader field of NLP. We approach this with a mixed-methods analysis of: (1) a citation graph of 185K+ papers built from all papers published at ACL and EMNLP conferences from 2018 to 2023, and (2) a survey of 138 members of the NLP community. Our quantitative results show that IA work is well-cited outside of IA, and central in the NLP citation graph. Through qualitative analysis of survey responses and manual annotation of 556 papers, we find that NLP researchers build on findings from IA work and perceive it is important for progress in NLP, multiple subfields, and rely on its findings and terminology for their own work. Many novel methods are proposed based on IA findings and highly influenced by them, but highly influential non-IA work cites IA findings without being driven by them. We end by summarizing what is missing in IA work today and provide a call to action, to pave the way for a more impactful future of IA research.