RuOpinionNE-2024: Extractie van Opinietuples uit Russische Nieuwsberichten
RuOpinionNE-2024: Extraction of Opinion Tuples from Russian News Texts
April 9, 2025
Auteurs: Natalia Loukachevitch, Natalia Tkachenko, Anna Lapanitsyna, Mikhail Tikhomirov, Nicolay Rusnachenko
cs.AI
Samenvatting
In dit artikel introduceren we de Dialogue Evaluation shared task over het extraheren van gestructureerde meningen uit Russische nieuwsteksten. De taak van de wedstrijd is om meningstuples te extraheren voor een gegeven zin; de tuples bestaan uit een sentimenthouder, het doelwit, een uitdrukking en het sentiment van de houder naar het doelwit. In totaal ontving de taak meer dan 100 inzendingen. De deelnemers experimenteerden voornamelijk met grote taalmodel(len) in zero-shot, few-shot en fine-tuning formaten. Het beste resultaat op de testset werd behaald met fine-tuning van een groot taalmodel. We vergeleken ook 30 prompts en 11 open-source taalmodel(len) met 3-32 miljard parameters in de 1-shot en 10-shot instellingen en vonden de beste modellen en prompts.
English
In this paper, we introduce the Dialogue Evaluation shared task on extraction
of structured opinions from Russian news texts. The task of the contest is to
extract opinion tuples for a given sentence; the tuples are composed of a
sentiment holder, its target, an expression and sentiment from the holder to
the target. In total, the task received more than 100 submissions. The
participants experimented mainly with large language models in zero-shot,
few-shot and fine-tuning formats. The best result on the test set was obtained
with fine-tuning of a large language model. We also compared 30 prompts and 11
open source language models with 3-32 billion parameters in the 1-shot and
10-shot settings and found the best models and prompts.