Раскрытие нейронов и экспертов, специфичных для инструкций: аналитическая структура для изучения способностей крупных языковых моделей следовать инструкциям

Unveiling Instruction-Specific Neurons & Experts: An Analytical Framework for LLM's Instruction-Following Capabilities

May 27, 2025

Авторы: Junyan Zhang, Yubo Gao, Yibo Yan, Jungang Li, Zhaorui Hou, Sicheng Tao, Shuliang Liu, Song Dai, Yonghua Hei, Junzhuo Li, Xuming Hu

cs.AI

Аннотация

Тонкая настройка крупных языковых моделей (LLM) значительно улучшила их способность следовать инструкциям, однако лежащие в основе вычислительные механизмы, ответственные за эти улучшения, остаются плохо изученными. В данном исследовании систематически изучается, как тонкая настройка перестраивает вычисления в LLM, путем выделения и анализа разреженных компонентов, специфичных для инструкций, таких как нейроны в плотных моделях, а также нейроны и эксперты в архитектурах типа "Смесь экспертов" (MoE). В частности, мы представляем HexaInst — тщательно подобранный и сбалансированный набор данных, охватывающий шесть различных категорий инструкций, и предлагаем SPARCOM — новый аналитический фреймворк, включающий три ключевых компонента: (1) метод идентификации этих разреженных компонентов, (2) оценку их функциональной общности и уникальности, и (3) систематическое сравнение их изменений. В ходе экспериментов мы демонстрируем функциональную общность, уникальность и критическую роль этих компонентов в выполнении инструкций. Проясняя связь между адаптациями, вызванными тонкой настройкой, и разреженными вычислительными субстратами, эта работа углубляет понимание того, как LLM усваивают поведение, связанное с выполнением инструкций, что важно для развития доверенного сообщества LLM.

English

The finetuning of Large Language Models (LLMs) has significantly advanced their instruction-following capabilities, yet the underlying computational mechanisms driving these improvements remain poorly understood. This study systematically examines how fine-tuning reconfigures LLM computations by isolating and analyzing instruction-specific sparse components, i.e., neurons in dense models and both neurons and experts in Mixture-of-Experts (MoE) architectures. In particular, we introduce HexaInst, a carefully curated and balanced instructional dataset spanning six distinct categories, and propose SPARCOM, a novel analytical framework comprising three key contributions: (1) a method for identifying these sparse components, (2) an evaluation of their functional generality and uniqueness, and (3) a systematic comparison of their alterations. Through experiments, we demonstrate functional generality, uniqueness, and the critical role of these components in instruction execution. By elucidating the relationship between fine-tuning-induced adaptations and sparse computational substrates, this work provides deeper insights into how LLMs internalize instruction-following behavior for the trustworthy LLM community.