RuOpinionNE-2024 : Extraction de tuples d'opinion à partir de textes d'actualités russes

RuOpinionNE-2024: Extraction of Opinion Tuples from Russian News Texts

April 9, 2025

Auteurs: Natalia Loukachevitch, Natalia Tkachenko, Anna Lapanitsyna, Mikhail Tikhomirov, Nicolay Rusnachenko

cs.AI

Résumé

Dans cet article, nous présentons la tâche partagée Dialogue Evaluation sur l'extraction d'opinions structurées à partir de textes d'actualités russes. L'objectif du concours est d'extraire des tuples d'opinion pour une phrase donnée ; ces tuples sont composés d'un détenteur de sentiment, de sa cible, d'une expression et du sentiment du détenteur envers la cible. Au total, la tâche a reçu plus de 100 soumissions. Les participants ont principalement expérimenté avec des modèles de langage de grande taille dans des formats zero-shot, few-shot et de fine-tuning. Le meilleur résultat sur l'ensemble de test a été obtenu avec le fine-tuning d'un modèle de langage de grande taille. Nous avons également comparé 30 prompts et 11 modèles de langage open source avec 3 à 32 milliards de paramètres dans les configurations 1-shot et 10-shot, et avons identifié les meilleurs modèles et prompts.

English

In this paper, we introduce the Dialogue Evaluation shared task on extraction of structured opinions from Russian news texts. The task of the contest is to extract opinion tuples for a given sentence; the tuples are composed of a sentiment holder, its target, an expression and sentiment from the holder to the target. In total, the task received more than 100 submissions. The participants experimented mainly with large language models in zero-shot, few-shot and fine-tuning formats. The best result on the test set was obtained with fine-tuning of a large language model. We also compared 30 prompts and 11 open source language models with 3-32 billion parameters in the 1-shot and 10-shot settings and found the best models and prompts.