Dalle intuizioni alle azioni: l'impatto dell'interpretabilità e dell'analisi nella ricerca sull'NLP

From Insights to Actions: The Impact of Interpretability and Analysis Research on NLP

June 18, 2024

Autori: Marius Mosbach, Vagrant Gautam, Tomás Vergara-Browne, Dietrich Klakow, Mor Geva

cs.AI

Abstract

La ricerca sull'interpretabilità e l'analisi (IA) è un sottocampo in crescita all'interno dell'NLP, con l'obiettivo di sviluppare una comprensione più profonda del comportamento o del funzionamento interno dei sistemi e dei metodi NLP. Nonostante il crescente interesse per questo sottocampo, una critica spesso sollevata è che manchi di intuizioni applicabili e quindi abbia un impatto limitato sull'NLP. In questo articolo, cerchiamo di quantificare l'impatto della ricerca IA sul campo più ampio dell'NLP. Affrontiamo questo obiettivo con un'analisi mista di: (1) un grafo di citazioni di oltre 185.000 articoli costruito da tutti i lavori pubblicati alle conferenze ACL e EMNLP dal 2018 al 2023, e (2) un sondaggio condotto su 138 membri della comunità NLP. I nostri risultati quantitativi mostrano che il lavoro IA è ben citato al di fuori dell'IA ed è centrale nel grafo di citazioni NLP. Attraverso un'analisi qualitativa delle risposte al sondaggio e un'annotazione manuale di 556 articoli, scopriamo che i ricercatori NLP si basano sui risultati del lavoro IA e lo considerano importante per il progresso nell'NLP, in più sottocampi, e si affidano ai suoi risultati e alla sua terminologia per il proprio lavoro. Molti metodi innovativi vengono proposti sulla base dei risultati IA e sono fortemente influenzati da essi, ma lavori altamente influenti non-IA citano i risultati IA senza esserne guidati. Concludiamo riassumendo ciò che manca oggi nel lavoro IA e forniamo un invito all'azione, per aprire la strada a un futuro più impattante della ricerca IA.

English

Interpretability and analysis (IA) research is a growing subfield within NLP with the goal of developing a deeper understanding of the behavior or inner workings of NLP systems and methods. Despite growing interest in the subfield, a commonly voiced criticism is that it lacks actionable insights and therefore has little impact on NLP. In this paper, we seek to quantify the impact of IA research on the broader field of NLP. We approach this with a mixed-methods analysis of: (1) a citation graph of 185K+ papers built from all papers published at ACL and EMNLP conferences from 2018 to 2023, and (2) a survey of 138 members of the NLP community. Our quantitative results show that IA work is well-cited outside of IA, and central in the NLP citation graph. Through qualitative analysis of survey responses and manual annotation of 556 papers, we find that NLP researchers build on findings from IA work and perceive it is important for progress in NLP, multiple subfields, and rely on its findings and terminology for their own work. Many novel methods are proposed based on IA findings and highly influenced by them, but highly influential non-IA work cites IA findings without being driven by them. We end by summarizing what is missing in IA work today and provide a call to action, to pave the way for a more impactful future of IA research.