Des insights aux actions : L'impact de l'interprétabilité et de l'analyse Recherche en traitement automatique du langage naturel (TALN)

From Insights to Actions: The Impact of Interpretability and Analysis Research on NLP

June 18, 2024

Auteurs: Marius Mosbach, Vagrant Gautam, Tomás Vergara-Browne, Dietrich Klakow, Mor Geva

cs.AI

Résumé

La recherche en interprétabilité et analyse (IA) est un sous-domaine en pleine expansion au sein du traitement automatique des langues (TAL), visant à développer une compréhension plus approfondie du comportement ou du fonctionnement interne des systèmes et méthodes de TAL. Malgré l'intérêt croissant pour ce sous-domaine, une critique souvent exprimée est qu'il manque d'idées exploitables et a donc peu d'impact sur le TAL. Dans cet article, nous cherchons à quantifier l'impact de la recherche en IA sur le domaine plus large du TAL. Nous abordons cette question avec une analyse mixte : (1) un graphe de citations de plus de 185 000 articles construit à partir de tous les articles publiés aux conférences ACL et EMNLP entre 2018 et 2023, et (2) une enquête auprès de 138 membres de la communauté du TAL. Nos résultats quantitatifs montrent que les travaux en IA sont bien cités en dehors de l'IA et occupent une place centrale dans le graphe de citations du TAL. Grâce à une analyse qualitative des réponses à l'enquête et à une annotation manuelle de 556 articles, nous constatons que les chercheurs en TAL s'appuient sur les résultats des travaux en IA et perçoivent leur importance pour les progrès dans le TAL, ainsi que dans plusieurs sous-domaines, et utilisent leurs conclusions et leur terminologie pour leurs propres travaux. De nombreuses méthodes novatrices sont proposées sur la base des résultats de l'IA et sont fortement influencées par eux, mais les travaux non-IA très influents citent les résultats de l'IA sans en être directement motivés. Nous concluons en résumant ce qui manque actuellement dans les travaux en IA et en lançant un appel à l'action, afin de préparer le terrain pour un avenir plus impactant de la recherche en IA.

English

Interpretability and analysis (IA) research is a growing subfield within NLP with the goal of developing a deeper understanding of the behavior or inner workings of NLP systems and methods. Despite growing interest in the subfield, a commonly voiced criticism is that it lacks actionable insights and therefore has little impact on NLP. In this paper, we seek to quantify the impact of IA research on the broader field of NLP. We approach this with a mixed-methods analysis of: (1) a citation graph of 185K+ papers built from all papers published at ACL and EMNLP conferences from 2018 to 2023, and (2) a survey of 138 members of the NLP community. Our quantitative results show that IA work is well-cited outside of IA, and central in the NLP citation graph. Through qualitative analysis of survey responses and manual annotation of 556 papers, we find that NLP researchers build on findings from IA work and perceive it is important for progress in NLP, multiple subfields, and rely on its findings and terminology for their own work. Many novel methods are proposed based on IA findings and highly influenced by them, but highly influential non-IA work cites IA findings without being driven by them. We end by summarizing what is missing in IA work today and provide a call to action, to pave the way for a more impactful future of IA research.