통찰에서 행동으로: 해석 가능성과 분석의 영향 자연어 처리 연구

From Insights to Actions: The Impact of Interpretability and Analysis Research on NLP

June 18, 2024

저자: Marius Mosbach, Vagrant Gautam, Tomás Vergara-Browne, Dietrich Klakow, Mor Geva

cs.AI

초록

해석 가능성 및 분석(Interpretability and Analysis, IA) 연구는 NLP 시스템과 방법의 동작 또는 내부 작동에 대한 더 깊은 이해를 목표로 하는 NLP 내 성장 중인 하위 분야입니다. 이 하위 분야에 대한 관심이 증가하고 있음에도 불구하고, 흔히 제기되는 비판은 실행 가능한 통찰력이 부족하여 NLP에 미치는 영향이 미미하다는 것입니다. 본 논문에서는 IA 연구가 NLP 전반에 미치는 영향을 정량화하고자 합니다. 이를 위해 우리는 다음과 같은 혼합 방법론적 분석을 수행합니다: (1) 2018년부터 2023년까지 ACL 및 EMNLP 학회에서 발표된 모든 논문을 기반으로 구축된 185,000편 이상의 논문 인용 그래프, 그리고 (2) NLP 커뮤니티 구성원 138명을 대상으로 한 설문 조사. 정량적 분석 결과, IA 연구는 IA 외부에서도 활발히 인용되며 NLP 인용 그래프에서 중심적인 위치를 차지하고 있음을 보여줍니다. 설문 응답에 대한 질적 분석과 556편의 논문에 대한 수동 주석을 통해, NLP 연구자들이 IA 연구 결과를 기반으로 연구를 진행하며, IA가 NLP 및 여러 하위 분야의 발전에 중요하다고 인식하고, 자신들의 연구에 IA의 발견과 용어를 활용하고 있음을 확인했습니다. 많은 새로운 방법론이 IA 연구 결과를 바탕으로 제안되고 있으며, 이에 크게 영향을 받고 있지만, IA 연구 결과를 인용하는 매우 영향력 있는 비 IA 연구는 IA 연구 결과에 의해 주도되지는 않습니다. 우리는 현재 IA 연구에서 부족한 점을 요약하고, 더 영향력 있는 IA 연구의 미래를 열기 위한 행동 촉구로 글을 마무리합니다.

English

Interpretability and analysis (IA) research is a growing subfield within NLP with the goal of developing a deeper understanding of the behavior or inner workings of NLP systems and methods. Despite growing interest in the subfield, a commonly voiced criticism is that it lacks actionable insights and therefore has little impact on NLP. In this paper, we seek to quantify the impact of IA research on the broader field of NLP. We approach this with a mixed-methods analysis of: (1) a citation graph of 185K+ papers built from all papers published at ACL and EMNLP conferences from 2018 to 2023, and (2) a survey of 138 members of the NLP community. Our quantitative results show that IA work is well-cited outside of IA, and central in the NLP citation graph. Through qualitative analysis of survey responses and manual annotation of 556 papers, we find that NLP researchers build on findings from IA work and perceive it is important for progress in NLP, multiple subfields, and rely on its findings and terminology for their own work. Many novel methods are proposed based on IA findings and highly influenced by them, but highly influential non-IA work cites IA findings without being driven by them. We end by summarizing what is missing in IA work today and provide a call to action, to pave the way for a more impactful future of IA research.