Prism-Δ : Pilotage Différentiel du Sous-Espace pour la Mise en Évidence des Invites dans les Grands Modèles de Langage

Prism-Δ: Differential Subspace Steering for Prompt Highlighting in Large Language Models

March 11, 2026

Auteurs: Yuyao Ge, Shenghua Liu, Yiwei Wang, Tianyu Liu, Baolong Bi, Lingrui Mei, Jiayu Yao, Jiafeng Guo, Xueqi Cheng

cs.AI

Résumé

Le guidage par mise en évidence (Prompt Highlighting) oriente un grand modèle de langage pour qu'il priorise les segments de texte spécifiés par l'utilisateur durant la génération. Un défi majeur consiste à extraire des directives de guidage qui capturent la différence entre les contextes pertinents et non pertinents, plutôt que les motifs structurels communs aux deux. Nous proposons PRISM-Δ (Projection-based Relevance-Informed Steering Method), qui décompose la différence entre les matrices de covariance croisées positives et négatives pour maximiser l'énergie discriminative tout en éliminant les directions partagées. Chaque tête d'attention reçoit un poids d'importance continu (softplus), permettant aux têtes faibles mais utiles de contribuer avec une intensité réduite. Le cadre s'étend naturellement aux représentations de Value, capturant le signal du canal de contenu que les méthodes basées uniquement sur Key laissent inutilisé. Sur quatre benchmarks et cinq modèles, PRISM-Δ égale ou dépasse la meilleure méthode existante dans 19 configurations sur 20, avec des gains relatifs allant jusqu'à +10,6 %, tout en réduisant de moitié le coût en fluidité du guidage. PRISM-Δ s'adapte également à la recherche en contexte long, surpassant la meilleure méthode existante avec un gain relatif allant jusqu'à +4,8 %. PRISM-Δ est compatible avec FlashAttention et ajoute une surcharge mémoire négligeable.

English

Prompt highlighting steers a large language model to prioritize user-specified text spans during generation. A key challenge is extracting steering directions that capture the difference between relevant and irrelevant contexts, rather than shared structural patterns common to both. We propose PRISM-Δ (Projection-based Relevance-Informed Steering Method), which decomposes the difference between positive and negative cross-covariance matrices to maximize discriminative energy while eliminating shared directions. Each attention head receives a continuous softplus importance weight, letting weak-but-useful heads contribute at reduced strength. The framework extends naturally to Value representations, capturing content-channel signal that Key-only methods leave unused. Across four benchmarks and five models, PRISM-Δ matches or exceeds the best existing method on 19 of 20 configurations, with relative gains up to +10.6%, while halving the fluency cost of steering. PRISM-Δ also scales to long-context retrieval, outperforming the best existing method by up to +4.8% relative gain. PRISM-Δ is compatible with FlashAttention and adds negligible memory overhead.