대형 언어 모델의 행동 지문 분석

초록

현재 대형 언어 모델(LLM)의 벤치마크는 주로 성능 지표에 초점을 맞추고 있어, 모델들을 구분짓는 미묘한 행동 특성을 포착하지 못하는 경우가 많습니다. 본 논문은 전통적인 평가 방식을 넘어서기 위해 모델의 내재적 인지 및 상호작용 스타일을 다각적으로 프로파일링하는 새로운 "행동 지문(Behavioral Fingerprinting)" 프레임워크를 소개합니다. 진단 프롬프트 세트와 강력한 LLM이 공정한 판단자 역할을 하는 혁신적인 자동 평가 파이프라인을 활용하여, 다양한 능력 계층의 18개 모델을 분석했습니다. 연구 결과는 LLM 생태계에서 중요한 차이점을 드러냈습니다: 추상적 및 인과적 추론과 같은 핵심 능력은 상위 모델들 사이에서 수렴하는 반면, 아첨(sycophancy)과 의미론적 견고성(semantic robustness)과 같은 정렬 관련 행동은 크게 다르게 나타났습니다. 또한, 모델 간의 기본 성격 클러스터링(ISTJ/ESTJ)이 관찰되었으며, 이는 일반적인 정렬 인센티브를 반영할 가능성이 높습니다. 종합적으로, 모델의 상호작용 특성은 그 규모나 추론 능력에서 비롯된 자연스러운 속성이 아니라, 구체적이고 매우 다양할 수 있는 개발자의 정렬 전략의 직접적인 결과임을 시사합니다. 본 프레임워크는 이러한 깊은 행동적 차이를 밝히기 위한 재현 가능하고 확장 가능한 방법론을 제공합니다. 프로젝트: https://github.com/JarvisPei/Behavioral-Fingerprinting

English

Current benchmarks for Large Language Models (LLMs) primarily focus on performance metrics, often failing to capture the nuanced behavioral characteristics that differentiate them. This paper introduces a novel ``Behavioral Fingerprinting'' framework designed to move beyond traditional evaluation by creating a multi-faceted profile of a model's intrinsic cognitive and interactive styles. Using a curated Diagnostic Prompt Suite and an innovative, automated evaluation pipeline where a powerful LLM acts as an impartial judge, we analyze eighteen models across capability tiers. Our results reveal a critical divergence in the LLM landscape: while core capabilities like abstract and causal reasoning are converging among top models, alignment-related behaviors such as sycophancy and semantic robustness vary dramatically. We further document a cross-model default persona clustering (ISTJ/ESTJ) that likely reflects common alignment incentives. Taken together, this suggests that a model's interactive nature is not an emergent property of its scale or reasoning power, but a direct consequence of specific, and highly variable, developer alignment strategies. Our framework provides a reproducible and scalable methodology for uncovering these deep behavioral differences. Project: https://github.com/JarvisPei/Behavioral-Fingerprinting

대형 언어 모델의 행동 지문 분석

Behavioral Fingerprinting of Large Language Models

초록

Support