RuOpinionNE-2024: 러시아 뉴스 텍스트에서의 의견 튜플 추출

RuOpinionNE-2024: Extraction of Opinion Tuples from Russian News Texts

April 9, 2025

저자: Natalia Loukachevitch, Natalia Tkachenko, Anna Lapanitsyna, Mikhail Tikhomirov, Nicolay Rusnachenko

cs.AI

초록

본 논문에서는 러시아 뉴스 텍스트에서 구조화된 의견을 추출하는 Dialogue Evaluation 공유 과제를 소개합니다. 이 대회의 과제는 주어진 문장에 대해 의견 튜플을 추출하는 것으로, 튜플은 감정 주체, 그 대상, 표현 및 주체에서 대상으로의 감정으로 구성됩니다. 총 100건 이상의 제출이 접수되었으며, 참가자들은 주로 제로샷, 퓨샷 및 미세조정 형식의 대형 언어 모델을 실험했습니다. 테스트 세트에서 가장 좋은 결과는 대형 언어 모델의 미세조정을 통해 얻어졌습니다. 또한 1샷 및 10샷 설정에서 30개의 프롬프트와 30억에서 320억 개의 파라미터를 가진 11개의 오픈소스 언어 모델을 비교하여 최적의 모델과 프롬프트를 찾았습니다.

English

In this paper, we introduce the Dialogue Evaluation shared task on extraction of structured opinions from Russian news texts. The task of the contest is to extract opinion tuples for a given sentence; the tuples are composed of a sentiment holder, its target, an expression and sentiment from the holder to the target. In total, the task received more than 100 submissions. The participants experimented mainly with large language models in zero-shot, few-shot and fine-tuning formats. The best result on the test set was obtained with fine-tuning of a large language model. We also compared 30 prompts and 11 open source language models with 3-32 billion parameters in the 1-shot and 10-shot settings and found the best models and prompts.