Переосмысление интерпретируемости в эпоху больших языковых моделей
Rethinking Interpretability in the Era of Large Language Models
January 30, 2024
Авторы: Chandan Singh, Jeevana Priya Inala, Michel Galley, Rich Caruana, Jianfeng Gao
cs.AI
Аннотация
Интерпретируемое машинное обучение стало активно развивающейся областью интересов за последнее десятилетие, что было вызвано ростом объемов данных и распространением глубоких нейронных сетей. Одновременно с этим крупные языковые модели (LLM) продемонстрировали впечатляющие возможности в решении широкого круга задач, открывая новые перспективы для переосмысления интерпретируемости в машинном обучении. В частности, способность объяснять на естественном языке позволяет LLM расширять масштаб и сложность паттернов, которые могут быть представлены человеку. Однако эти новые возможности также порождают новые вызовы, такие как галлюцинированные объяснения и огромные вычислительные затраты.
В этой позиционной статье мы начинаем с обзора существующих методов оценки развивающейся области интерпретации LLM (как интерпретации самих LLM, так и использования LLM для объяснений). Мы утверждаем, что, несмотря на их ограничения, LLM предоставляют возможность переопределить интерпретируемость с более амбициозным охватом в различных приложениях, включая аудит самих LLM. Мы выделяем два приоритетных направления исследований в области интерпретации LLM: использование LLM для непосредственного анализа новых наборов данных и генерации интерактивных объяснений.
English
Interpretable machine learning has exploded as an area of interest over the
last decade, sparked by the rise of increasingly large datasets and deep neural
networks. Simultaneously, large language models (LLMs) have demonstrated
remarkable capabilities across a wide array of tasks, offering a chance to
rethink opportunities in interpretable machine learning. Notably, the
capability to explain in natural language allows LLMs to expand the scale and
complexity of patterns that can be given to a human. However, these new
capabilities raise new challenges, such as hallucinated explanations and
immense computational costs.
In this position paper, we start by reviewing existing methods to evaluate
the emerging field of LLM interpretation (both interpreting LLMs and using LLMs
for explanation). We contend that, despite their limitations, LLMs hold the
opportunity to redefine interpretability with a more ambitious scope across
many applications, including in auditing LLMs themselves. We highlight two
emerging research priorities for LLM interpretation: using LLMs to directly
analyze new datasets and to generate interactive explanations.