Revelando Neurônios e Especialistas Específicos de Instrução: Um Framework Analítico para as Capacidades de Seguimento de Instruções de LLMs

Unveiling Instruction-Specific Neurons & Experts: An Analytical Framework for LLM's Instruction-Following Capabilities

May 27, 2025

Autores: Junyan Zhang, Yubo Gao, Yibo Yan, Jungang Li, Zhaorui Hou, Sicheng Tao, Shuliang Liu, Song Dai, Yonghua Hei, Junzhuo Li, Xuming Hu

cs.AI

Resumo

O ajuste fino de Modelos de Linguagem de Grande Escala (LLMs) avançou significativamente suas capacidades de seguir instruções, porém os mecanismos computacionais subjacentes que impulsionam essas melhorias ainda são pouco compreendidos. Este estudo examina sistematicamente como o ajuste fino reconfigura as computações dos LLMs ao isolar e analisar componentes esparsos específicos de instruções, ou seja, neurônios em modelos densos e tanto neurônios quanto especialistas em arquiteturas de Mistura de Especialistas (MoE). Em particular, introduzimos o HexaInst, um conjunto de dados instrucionais cuidadosamente curado e balanceado, abrangendo seis categorias distintas, e propomos o SPARCOM, uma nova estrutura analítica composta por três contribuições principais: (1) um método para identificar esses componentes esparsos, (2) uma avaliação de sua generalidade funcional e unicidade, e (3) uma comparação sistemática de suas alterações. Por meio de experimentos, demonstramos a generalidade funcional, a unicidade e o papel crítico desses componentes na execução de instruções. Ao elucidar a relação entre as adaptações induzidas pelo ajuste fino e os substratos computacionais esparsos, este trabalho fornece insights mais profundos sobre como os LLMs internalizam o comportamento de seguir instruções, contribuindo para a comunidade de LLMs confiáveis.

English

The finetuning of Large Language Models (LLMs) has significantly advanced their instruction-following capabilities, yet the underlying computational mechanisms driving these improvements remain poorly understood. This study systematically examines how fine-tuning reconfigures LLM computations by isolating and analyzing instruction-specific sparse components, i.e., neurons in dense models and both neurons and experts in Mixture-of-Experts (MoE) architectures. In particular, we introduce HexaInst, a carefully curated and balanced instructional dataset spanning six distinct categories, and propose SPARCOM, a novel analytical framework comprising three key contributions: (1) a method for identifying these sparse components, (2) an evaluation of their functional generality and uniqueness, and (3) a systematic comparison of their alterations. Through experiments, we demonstrate functional generality, uniqueness, and the critical role of these components in instruction execution. By elucidating the relationship between fine-tuning-induced adaptations and sparse computational substrates, this work provides deeper insights into how LLMs internalize instruction-following behavior for the trustworthy LLM community.