大規模言語モデルにおける感情検出のための言語横断的機能的ベクトル

要旨

関数ベクトル（FV）は、文脈内デモンストレーションから導出されたタスク固有の潜在方向表現を注入することにより、大規模言語モデル（LLM）の挙動を誘導する有望なメカニズムとして近年注目されている。従来の研究では、FVが構造化された文脈内学習設定においてタスク挙動を再現できることが示されているが、意味的に複雑なタスクにおける有効性や、言語を越えた汎化能力は未だ十分に調査されていない。本稿では、多言語マルチラベル感情認識を、挑戦的な意味分類ベンチマークとして用いて、FVの言語間転移可能性を調査する。具体的には、ソース言語から抽出されたFVが、推論時にデモンストレーションを提供することなく、標準的なクリーン設定と摂動を加えたゼロショット設定の両方において、別の言語のタスク挙動を誘導できるかどうかを検証する。多様な言語間設定において、FVを適用することで性能が大幅に向上した。これは、FVが純粋に言語固有の語彙パターンではなく、言語に依存しないタスク関連信号を捉えていることを示唆し、多言語タスク適応のための軽量かつ転移可能なメカニズムとしての可能性を強調するものである。また、各LLMには、効果的なFVを構築するための比較的安定した最適なアテンションヘッドの範囲が存在し、そのパターンは言語間で一貫していることを観察した。さらに、FVは、複数のデモンストレーションを処理する計算オーバーヘッドを回避しつつ、標準的な少数ショットの文脈内学習のタスク誘導効果を部分的に再現できるため、大規模な実用的応用に有効である。我々のコードはhttps://github.com/yingjie7/cross_lingual_fvsで公開している。

English

Function vectors (FVs) have recently emerged as a promising mechanism for steering the behavior of large language models (LLMs) by injecting task-specific latent direction representations derived from in-context demonstrations. While prior studies have shown that FVs can recover task behavior in structured in-context learning settings, their effectiveness on semantically complex tasks and their ability to generalize across languages remain underexplored. We investigate the cross-lingual transferability of FVs using multilingual multi-label emotion recognition as a challenging semantic classification benchmark. Specifically, we examine whether FVs extracted from a source language can steer task behavior in another language under both standard clean and perturbed zero-shot settings without providing demonstrations during inference. Across diverse cross-lingual settings, applying FVs substantially improves performance, suggesting that FVs capture language-agnostic, task-relevant signals rather than purely language-specific lexical patterns, and highlighting their potential as a lightweight and transferable mechanism for multilingual task adaptation. We observe that each LLM exhibits a relatively stable optimal range of attention heads for constructing effective FVs, and the pattern remains consistent across languages. In addition, FVs can partially replicate the task-steering effects of standard few-shot in-context learning while avoiding the computational overhead of processing multiple demonstrations, making them effective for large-scale practical applications. Our code is available at https://github.com/yingjie7/cross_lingual_fvs.