Svelare Neuroni e Esperti Specifici per le Istruzioni: Un Framework Analitico per le Capacità di Seguire le Istruzioni nei Modelli Linguistici di Grande Dimensione

Unveiling Instruction-Specific Neurons & Experts: An Analytical Framework for LLM's Instruction-Following Capabilities

May 27, 2025

Autori: Junyan Zhang, Yubo Gao, Yibo Yan, Jungang Li, Zhaorui Hou, Sicheng Tao, Shuliang Liu, Song Dai, Yonghua Hei, Junzhuo Li, Xuming Hu

cs.AI

Abstract

Il fine-tuning dei Large Language Models (LLMs) ha significativamente migliorato le loro capacità di seguire istruzioni, tuttavia i meccanismi computazionali sottostanti che guidano questi miglioramenti rimangono poco compresi. Questo studio esamina sistematicamente come il fine-tuning riconfigura i calcoli degli LLMs isolando e analizzando componenti sparsi specifici per le istruzioni, ovvero neuroni nei modelli densi e sia neuroni che esperti nelle architetture Mixture-of-Experts (MoE). In particolare, introduciamo HexaInst, un dataset di istruzioni accuratamente curato e bilanciato che copre sei categorie distinte, e proponiamo SPARCOM, un nuovo framework analitico che comprende tre contributi chiave: (1) un metodo per identificare questi componenti sparsi, (2) una valutazione della loro generalità funzionale e unicità, e (3) un confronto sistematico delle loro alterazioni. Attraverso esperimenti, dimostriamo la generalità funzionale, l'unicità e il ruolo cruciale di questi componenti nell'esecuzione delle istruzioni. Chiarendo la relazione tra gli adattamenti indotti dal fine-tuning e i substrati computazionali sparsi, questo lavoro fornisce approfondimenti su come gli LLMs interiorizzano il comportamento di seguire le istruzioni per la comunità degli LLMs affidabili.

English

The finetuning of Large Language Models (LLMs) has significantly advanced their instruction-following capabilities, yet the underlying computational mechanisms driving these improvements remain poorly understood. This study systematically examines how fine-tuning reconfigures LLM computations by isolating and analyzing instruction-specific sparse components, i.e., neurons in dense models and both neurons and experts in Mixture-of-Experts (MoE) architectures. In particular, we introduce HexaInst, a carefully curated and balanced instructional dataset spanning six distinct categories, and propose SPARCOM, a novel analytical framework comprising three key contributions: (1) a method for identifying these sparse components, (2) an evaluation of their functional generality and uniqueness, and (3) a systematic comparison of their alterations. Through experiments, we demonstrate functional generality, uniqueness, and the critical role of these components in instruction execution. By elucidating the relationship between fine-tuning-induced adaptations and sparse computational substrates, this work provides deeper insights into how LLMs internalize instruction-following behavior for the trustworthy LLM community.