洞察から行動へ：解釈可能性と分析の影響 NLP研究

From Insights to Actions: The Impact of Interpretability and Analysis Research on NLP

June 18, 2024

著者: Marius Mosbach, Vagrant Gautam, Tomás Vergara-Browne, Dietrich Klakow, Mor Geva

cs.AI

要旨

解釈可能性と分析（IA）研究は、NLPシステムや手法の振る舞いや内部構造をより深く理解することを目的とした、NLP分野内で成長しているサブフィールドです。このサブフィールドへの関心が高まっているにもかかわらず、しばしば指摘される批判は、具体的な洞察に欠けており、そのためNLP分野への影響が限られているという点です。本論文では、IA研究がNLP分野全体に与える影響を定量化することを目指します。この目的のために、以下の2つの手法を用いた混合分析を行います：(1) 2018年から2023年にACLおよびEMNLP会議で発表された全論文から構築された18万5千件以上の引用グラフ、(2) NLPコミュニティの138名を対象とした調査です。定量的な結果から、IA研究はIA以外の分野でもよく引用されており、NLP引用グラフにおいて中心的な位置を占めていることが示されました。調査回答の質的分析と556件の論文の手動アノテーションを通じて、NLP研究者がIA研究の知見を基に研究を進め、NLPや複数のサブフィールドにおける進歩にとって重要であると認識し、自身の研究においてその知見や用語を活用していることが明らかになりました。多くの新しい手法がIAの知見に基づいて提案され、それらに大きく影響を受けていますが、IA以外の非常に影響力のある研究は、IAの知見を引用するものの、それに駆動されることはありません。最後に、現在のIA研究に欠けている点をまとめ、より影響力のあるIA研究の未来を切り開くための行動を呼びかけます。

English

Interpretability and analysis (IA) research is a growing subfield within NLP with the goal of developing a deeper understanding of the behavior or inner workings of NLP systems and methods. Despite growing interest in the subfield, a commonly voiced criticism is that it lacks actionable insights and therefore has little impact on NLP. In this paper, we seek to quantify the impact of IA research on the broader field of NLP. We approach this with a mixed-methods analysis of: (1) a citation graph of 185K+ papers built from all papers published at ACL and EMNLP conferences from 2018 to 2023, and (2) a survey of 138 members of the NLP community. Our quantitative results show that IA work is well-cited outside of IA, and central in the NLP citation graph. Through qualitative analysis of survey responses and manual annotation of 556 papers, we find that NLP researchers build on findings from IA work and perceive it is important for progress in NLP, multiple subfields, and rely on its findings and terminology for their own work. Many novel methods are proposed based on IA findings and highly influenced by them, but highly influential non-IA work cites IA findings without being driven by them. We end by summarizing what is missing in IA work today and provide a call to action, to pave the way for a more impactful future of IA research.