Het onthullen van instructie-specifieke neuronen en experts: Een analytisch raamwerk voor de instructie-volgende capaciteiten van grote taalmodelen

Unveiling Instruction-Specific Neurons & Experts: An Analytical Framework for LLM's Instruction-Following Capabilities

May 27, 2025

Auteurs: Junyan Zhang, Yubo Gao, Yibo Yan, Jungang Li, Zhaorui Hou, Sicheng Tao, Shuliang Liu, Song Dai, Yonghua Hei, Junzhuo Li, Xuming Hu

cs.AI

Samenvatting

Het finetunen van Large Language Models (LLMs) heeft hun vermogen om instructies op te volgen aanzienlijk verbeterd, maar de onderliggende computationele mechanismen die deze verbeteringen aansturen, blijven slecht begrepen. Deze studie onderzoekt systematisch hoe finetunen de berekeningen van LLMs herconfigureert door instructiespecifieke sparse componenten te isoleren en te analyseren, zoals neuronen in dense modellen en zowel neuronen als experts in Mixture-of-Experts (MoE)-architecturen. In het bijzonder introduceren we HexaInst, een zorgvuldig samengestelde en gebalanceerde instructiedataset die zes verschillende categorieën omvat, en stellen we SPARCOM voor, een nieuw analytisch framework dat drie belangrijke bijdragen omvat: (1) een methode om deze sparse componenten te identificeren, (2) een evaluatie van hun functionele algemeenheid en uniciteit, en (3) een systematische vergelijking van hun aanpassingen. Door experimenten tonen we functionele algemeenheid, uniciteit en de cruciale rol van deze componenten bij het uitvoeren van instructies aan. Door het verband tussen door finetunen geïnduceerde aanpassingen en sparse computationele substraten te verhelderen, biedt dit werk diepere inzichten in hoe LLMs instructievolggedrag internaliseren voor de betrouwbare LLM-gemeenschap.

English

The finetuning of Large Language Models (LLMs) has significantly advanced their instruction-following capabilities, yet the underlying computational mechanisms driving these improvements remain poorly understood. This study systematically examines how fine-tuning reconfigures LLM computations by isolating and analyzing instruction-specific sparse components, i.e., neurons in dense models and both neurons and experts in Mixture-of-Experts (MoE) architectures. In particular, we introduce HexaInst, a carefully curated and balanced instructional dataset spanning six distinct categories, and propose SPARCOM, a novel analytical framework comprising three key contributions: (1) a method for identifying these sparse components, (2) an evaluation of their functional generality and uniqueness, and (3) a systematic comparison of their alterations. Through experiments, we demonstrate functional generality, uniqueness, and the critical role of these components in instruction execution. By elucidating the relationship between fine-tuning-induced adaptations and sparse computational substrates, this work provides deeper insights into how LLMs internalize instruction-following behavior for the trustworthy LLM community.