대규모 언어 모델에서 감정 탐지를 위한 교차 언어 기능 벡터

초록

함수 벡터(Function Vectors, FVs)는 최근 맥락 내 시연(in-context demonstrations)에서 파생된 작업별 잠재 방향 표현을 주입함으로써 대규모 언어 모델(LLM)의 동작을 유도하는 유망한 메커니즘으로 부상하고 있다. 선행 연구들은 FV가 구조화된 맥락 내 학습 환경에서 작업 동작을 복원할 수 있음을 보여주었지만, 의미적으로 복잡한 작업에 대한 효과성과 언어 간 일반화 능력은 충분히 탐구되지 않았다. 우리는 도전적인 의미론적 분류 벤치마크로서 다국어 다중 레이블 감정 인식을 사용하여 FV의 교차 언어 전이성을 조사한다. 구체적으로, 우리는 원천 언어에서 추출된 FV가 추론 중 시연을 제공하지 않는 표준 클린 및 교란(perturbed) 제로샷 설정 모두에서 다른 언어의 작업 동작을 유도할 수 있는지 검토한다. 다양한 교차 언어 설정 전반에 걸쳐 FV를 적용하면 성능이 크게 향상되었으며, 이는 FV가 순전히 언어 특정적인 어휘 패턴보다는 언어 비의존적이고 작업 관련 신호를 포착함을 시사하고, 다국어 작업 적응을 위한 경량의 전이 가능한 메커니즘으로서의 잠재력을 강조한다. 우리는 각 LLM이 효과적인 FV를 구성하기 위해 상대적으로 안정적인 최적의 어텐션 헤드 범위를 보이며, 이 패턴이 언어 전반에 걸쳐 일관됨을 관찰한다. 또한 FV는 여러 시연을 처리하는 계산 오버헤드를 피하면서 표준 퓨삿 맥락 내 학습의 작업 유도 효과를 부분적으로 재현할 수 있어 대규모 실제 응용에 효과적이다. 우리의 코드는 https://github.com/yingjie7/cross_lingual_fvs에서 확인할 수 있다.

English

Function vectors (FVs) have recently emerged as a promising mechanism for steering the behavior of large language models (LLMs) by injecting task-specific latent direction representations derived from in-context demonstrations. While prior studies have shown that FVs can recover task behavior in structured in-context learning settings, their effectiveness on semantically complex tasks and their ability to generalize across languages remain underexplored. We investigate the cross-lingual transferability of FVs using multilingual multi-label emotion recognition as a challenging semantic classification benchmark. Specifically, we examine whether FVs extracted from a source language can steer task behavior in another language under both standard clean and perturbed zero-shot settings without providing demonstrations during inference. Across diverse cross-lingual settings, applying FVs substantially improves performance, suggesting that FVs capture language-agnostic, task-relevant signals rather than purely language-specific lexical patterns, and highlighting their potential as a lightweight and transferable mechanism for multilingual task adaptation. We observe that each LLM exhibits a relatively stable optimal range of attention heads for constructing effective FVs, and the pattern remains consistent across languages. In addition, FVs can partially replicate the task-steering effects of standard few-shot in-context learning while avoiding the computational overhead of processing multiple demonstrations, making them effective for large-scale practical applications. Our code is available at https://github.com/yingjie7/cross_lingual_fvs.