От идей к действиям: влияние интерпретируемости и анализа Исследование в области обработки естественного языка

From Insights to Actions: The Impact of Interpretability and Analysis Research on NLP

June 18, 2024

Авторы: Marius Mosbach, Vagrant Gautam, Tomás Vergara-Browne, Dietrich Klakow, Mor Geva

cs.AI

Аннотация

Исследования интерпретируемости и анализа (IA) являются растущим подразделом в рамках обработки естественного языка (NLP) с целью развития более глубокого понимания поведения или внутренних механизмов систем и методов NLP. Несмотря на возрастающий интерес к этому подразделу, часто высказывается критика в том, что ему не хватает действенных идей, и, следовательно, он оказывает небольшое влияние на NLP. В данной статье мы стремимся количественно оценить влияние исследований IA на более широкое поле NLP. Мы подходим к этому с помощью смешанного анализа методов: (1) графа цитирования из более чем 185 тыс. статей, построенного из всех статей, опубликованных на конференциях ACL и EMNLP с 2018 по 2023 год, и (2) опроса 138 участников сообщества NLP. Наши количественные результаты показывают, что работы по IA широко цитируются за пределами самой области IA и занимают центральное место в графе цитирования NLP. Через качественный анализ ответов на опрос и ручную аннотацию 556 статей мы обнаружили, что исследователи NLP опираются на результаты работы по IA и считают ее важной для прогресса в NLP, в различных подобластях, и полагаются на ее результаты и терминологию для своей собственной работы. Множество новых методов предлагается на основе результатов работы по IA и сильно на них влияют, но высоко влиятельные работы вне области IA цитируют результаты работы по IA, не будучи направляемыми ими. Мы завершаем, подводя итоги тому, что сегодня отсутствует в работе по IA, и призываем к действию, чтобы проложить путь для более значимого будущего исследований IA.

English

Interpretability and analysis (IA) research is a growing subfield within NLP with the goal of developing a deeper understanding of the behavior or inner workings of NLP systems and methods. Despite growing interest in the subfield, a commonly voiced criticism is that it lacks actionable insights and therefore has little impact on NLP. In this paper, we seek to quantify the impact of IA research on the broader field of NLP. We approach this with a mixed-methods analysis of: (1) a citation graph of 185K+ papers built from all papers published at ACL and EMNLP conferences from 2018 to 2023, and (2) a survey of 138 members of the NLP community. Our quantitative results show that IA work is well-cited outside of IA, and central in the NLP citation graph. Through qualitative analysis of survey responses and manual annotation of 556 papers, we find that NLP researchers build on findings from IA work and perceive it is important for progress in NLP, multiple subfields, and rely on its findings and terminology for their own work. Many novel methods are proposed based on IA findings and highly influenced by them, but highly influential non-IA work cites IA findings without being driven by them. We end by summarizing what is missing in IA work today and provide a call to action, to pave the way for a more impactful future of IA research.