大規模言語モデル時代における解釈可能性の再考

要旨

解釈可能な機械学習は、過去10年間で爆発的な関心を集める分野となってきました。その背景には、ますます大規模化するデータセットと深層ニューラルネットワークの台頭があります。同時に、大規模言語モデル（LLM）は多岐にわたるタスクで驚異的な能力を発揮し、解釈可能な機械学習における新たな可能性を再考する機会を提供しています。特に、自然言語で説明する能力により、LLMは人間に提示できるパターンの規模と複雑さを拡大することが可能です。しかし、これらの新たな能力は、幻覚的な説明や膨大な計算コストといった新たな課題も引き起こしています。本ポジションペーパーでは、まずLLM解釈（LLMを解釈することと、説明のためにLLMを利用すること）という新興分野を評価する既存の手法をレビューします。私たちは、その限界にもかかわらず、LLMが多くのアプリケーションにおいて、LLM自体の監査を含め、より野心的なスコープで解釈可能性を再定義する機会を提供していると主張します。LLM解釈における2つの新たな研究優先課題として、LLMを直接的に新しいデータセットの分析に活用することと、インタラクティブな説明を生成することに焦点を当てます。

English

Interpretable machine learning has exploded as an area of interest over the last decade, sparked by the rise of increasingly large datasets and deep neural networks. Simultaneously, large language models (LLMs) have demonstrated remarkable capabilities across a wide array of tasks, offering a chance to rethink opportunities in interpretable machine learning. Notably, the capability to explain in natural language allows LLMs to expand the scale and complexity of patterns that can be given to a human. However, these new capabilities raise new challenges, such as hallucinated explanations and immense computational costs. In this position paper, we start by reviewing existing methods to evaluate the emerging field of LLM interpretation (both interpreting LLMs and using LLMs for explanation). We contend that, despite their limitations, LLMs hold the opportunity to redefine interpretability with a more ambitious scope across many applications, including in auditing LLMs themselves. We highlight two emerging research priorities for LLM interpretation: using LLMs to directly analyze new datasets and to generate interactive explanations.

大規模言語モデル時代における解釈可能性の再考

Rethinking Interpretability in the Era of Large Language Models

要旨

Support