Van Inzichten naar Acties: De Impact van Interpretatie en Analyse Onderzoek naar NLP

From Insights to Actions: The Impact of Interpretability and Analysis Research on NLP

June 18, 2024

Auteurs: Marius Mosbach, Vagrant Gautam, Tomás Vergara-Browne, Dietrich Klakow, Mor Geva

cs.AI

Samenvatting

Interpretabiliteit en analyse (IA) onderzoek is een groeiend subveld binnen NLP met als doel een dieper begrip te ontwikkelen van het gedrag of de interne werking van NLP-systemen en -methoden. Ondanks de groeiende interesse in het subveld, is een veelgehoorde kritiek dat het gebrek aan bruikbare inzichten heeft en daarom weinig impact heeft op NLP. In dit artikel streven we ernaar de impact van IA onderzoek op het bredere veld van NLP te kwantificeren. We benaderen dit met een mixed-methods analyse van: (1) een citatiegrafiek van 185K+ artikelen gebouwd uit alle artikelen gepubliceerd op ACL- en EMNLP-conferenties van 2018 tot 2023, en (2) een enquête onder 138 leden van de NLP-gemeenschap. Onze kwantitatieve resultaten tonen aan dat IA-werk goed wordt geciteerd buiten IA, en centraal staat in de NLP-citatiegrafiek. Door middel van kwalitatieve analyse van enquêtereacties en handmatige annotatie van 556 artikelen, vinden we dat NLP-onderzoekers voortbouwen op bevindingen uit IA-werk en het belangrijk achten voor vooruitgang in NLP, meerdere subvelden, en vertrouwen op de bevindingen en terminologie voor hun eigen werk. Veel nieuwe methoden worden voorgesteld op basis van IA bevindingen en worden er sterk door beïnvloed, maar zeer invloedrijk niet-IA werk citeert IA-bevindingen zonder erdoor gedreven te worden. We sluiten af met een samenvatting van wat er ontbreekt in IA-werk vandaag en geven een oproep tot actie, om de weg te effenen voor een toekomst van IA-onderzoek met meer impact.

English

Interpretability and analysis (IA) research is a growing subfield within NLP with the goal of developing a deeper understanding of the behavior or inner workings of NLP systems and methods. Despite growing interest in the subfield, a commonly voiced criticism is that it lacks actionable insights and therefore has little impact on NLP. In this paper, we seek to quantify the impact of IA research on the broader field of NLP. We approach this with a mixed-methods analysis of: (1) a citation graph of 185K+ papers built from all papers published at ACL and EMNLP conferences from 2018 to 2023, and (2) a survey of 138 members of the NLP community. Our quantitative results show that IA work is well-cited outside of IA, and central in the NLP citation graph. Through qualitative analysis of survey responses and manual annotation of 556 papers, we find that NLP researchers build on findings from IA work and perceive it is important for progress in NLP, multiple subfields, and rely on its findings and terminology for their own work. Many novel methods are proposed based on IA findings and highly influenced by them, but highly influential non-IA work cites IA findings without being driven by them. We end by summarizing what is missing in IA work today and provide a call to action, to pave the way for a more impactful future of IA research.