Prism-Δ: Pilotaggio Differenziale del Sottospazio per l'Evidenziazione dei Prompt nei Grandi Modelli Linguistici
Prism-Δ: Differential Subspace Steering for Prompt Highlighting in Large Language Models
March 11, 2026
Autori: Yuyao Ge, Shenghua Liu, Yiwei Wang, Tianyu Liu, Baolong Bi, Lingrui Mei, Jiayu Yao, Jiafeng Guo, Xueqi Cheng
cs.AI
Abstract
L'evidenziazione del prompt (Prompt Highlighting) orienta un modello linguistico di grandi dimensioni a dare priorità a span di testo specificati dall'utente durante la generazione. Una sfida fondamentale è estrarre direzioni di orientamento che catturino la differenza tra contesti rilevanti e non rilevanti, piuttosto che modelli strutturali condivisi comuni ad entrambi. Proponiamo PRISM-Δ (Projection-based Relevance-Informed Steering Method), che scompone la differenza tra le matrici di cross-covarianza positiva e negativa per massimizzare l'energia discriminativa eliminando al contempo le direzioni condivise. Ogni testa di attenzione riceve un peso di importanza continuo softplus, permettendo alle teste deboli-ma-utili di contribuire con intensità ridotta. Il framework si estende naturalmente alle rappresentazioni Value, catturando il segnale del canale del contenuto che i metodi basati solo sulle Key lasciano inutilizzato. Su quattro benchmark e cinque modelli, PRISM-Δ eguaglia o supera il miglior metodo esistente in 19 su 20 configurazioni, con guadagni relativi fino a +10,6%, dimezzando al contempo il costo in termini di fluidità dell'orientamento. PRISM-Δ scala anche al retrieval a contesto lungo, superando il miglior metodo esistente con un guadagno relativo fino a +4,8%. PRISM-Δ è compatibile con FlashAttention e aggiunge un overhead di memoria trascurabile.
English
Prompt highlighting steers a large language model to prioritize user-specified text spans during generation. A key challenge is extracting steering directions that capture the difference between relevant and irrelevant contexts, rather than shared structural patterns common to both. We propose PRISM-Δ (Projection-based Relevance-Informed Steering Method), which decomposes the difference between positive and negative cross-covariance matrices to maximize discriminative energy while eliminating shared directions. Each attention head receives a continuous softplus importance weight, letting weak-but-useful heads contribute at reduced strength. The framework extends naturally to Value representations, capturing content-channel signal that Key-only methods leave unused. Across four benchmarks and five models, PRISM-Δ matches or exceeds the best existing method on 19 of 20 configurations, with relative gains up to +10.6%, while halving the fluency cost of steering. PRISM-Δ also scales to long-context retrieval, outperforming the best existing method by up to +4.8% relative gain. PRISM-Δ is compatible with FlashAttention and adds negligible memory overhead.