RuOpinionNE-2024: ロシア語ニューステキストからの意見タプル抽出

RuOpinionNE-2024: Extraction of Opinion Tuples from Russian News Texts

April 9, 2025

著者: Natalia Loukachevitch, Natalia Tkachenko, Anna Lapanitsyna, Mikhail Tikhomirov, Nicolay Rusnachenko

cs.AI

要旨

本論文では、ロシア語ニューステキストから構造化された意見を抽出するDialogue Evaluation共有タスクを紹介する。このコンテストのタスクは、与えられた文に対して意見タプルを抽出することであり、タプルは感情の主体、その対象、表現、および主体から対象への感情で構成される。このタスクには合計100件以上の提出があった。参加者は主に、ゼロショット、少数ショット、およびファインチューニング形式の大規模言語モデルを実験した。テストセットでの最高の結果は、大規模言語モデルのファインチューニングによって得られた。また、1ショットおよび10ショット設定において、30のプロンプトと3-320億パラメータの11のオープンソース言語モデルを比較し、最良のモデルとプロンプトを見つけた。

English

In this paper, we introduce the Dialogue Evaluation shared task on extraction of structured opinions from Russian news texts. The task of the contest is to extract opinion tuples for a given sentence; the tuples are composed of a sentiment holder, its target, an expression and sentiment from the holder to the target. In total, the task received more than 100 submissions. The participants experimented mainly with large language models in zero-shot, few-shot and fine-tuning formats. The best result on the test set was obtained with fine-tuning of a large language model. We also compared 30 prompts and 11 open source language models with 3-32 billion parameters in the 1-shot and 10-shot settings and found the best models and prompts.