LoSoNA: 그룹 대화에서의 지역 사회 규범 적응을 위한 벤치마크

초록

온라인 그룹 채팅은 명시적으로 언급되는 경우가 드문 지역적 대화 규범을 가진 사회적 공간이다. LLM 기반 에이전트가 이러한 규범을 인식하고 적응할 수 있는 능력과 의지는 대부분 탐구되지 않은 상태로 남아 있다. 우리는 다자간 채팅에서의 지역적 사회 규범 적응을 위한 벤치마크인 LoSoNA를 소개한다. 각 시나리오는 대상 모델에게 비대상 참여자들이 숨겨진 지역적 규범을 보여주는 정리된 그룹 채팅 대화록을 제공하며, 이어서 대상 모델이 해당 규범을 추론했는지 여부를 드러내는 응답을 강제하는 최종 유도 발언이 제시된다. 우리는 여덟 개의 최첨단 및 오픈 가중치 모델을 네 가지 프롬프트 조건(이전 대화를 답변의 근거로 어떻게 처리할지 명시성의 정도가 다른 조건)에서 평가했다. 단순 프롬프팅은 대부분의 모델에서 여전히 제한적이었다. 명시적 규범 인식 프롬프팅은 불균등하게 도움이 되었는데, Gemini 3.1 Pro는 84.2%, Claude Fable 5는 81.6%에 도달한 반면, 다른 여러 모델은 미미한 향상 또는 성능 저하를 보였다. LoSoNA는 모델이 선례에서 지역적 대화 규범을 추론하고 이를 한 턴의 그룹 채팅 응답에 활용할 수 있는지를 테스트함으로써, LLM의 사회적 능력을 평가하자는 최근의 요구에 기여한다.

English

Online group chats are social spaces with local conversational norms that are rarely stated explicitly. The ability and willingness of LLM-based agents to recognize and adapt to these norms remains mostly unexplored. We introduce LoSoNA, a benchmark for local social norm adaptation in multi-party chat. Each scenario gives a subject model a curated group-chat transcript in which non-subject participants demonstrate a hidden local norm, followed by a final elicitor turn that forces a response revealing whether the subject has inferred that norm. We evaluate eight frontier and open-weight models under four prompting conditions that vary how explicitly the model is told to treat the prior conversation as evidence for how it should answer. Naive prompting remains limited for most models; explicit norm-aware prompting helps unevenly, with Gemini 3.1 Pro reaching 84.2% and Claude Fable 5 reaching 81.6%, while several other models show small gains or regressions. LoSoNA contributes to recent calls for evaluating LLM social capabilities by testing whether models can infer local conversational norms from precedent and use them in a one-turn group-chat response.