RuOpinionNE-2024: Extração de Tuplas de Opinião de Textos de Notícias em Russo
RuOpinionNE-2024: Extraction of Opinion Tuples from Russian News Texts
April 9, 2025
Autores: Natalia Loukachevitch, Natalia Tkachenko, Anna Lapanitsyna, Mikhail Tikhomirov, Nicolay Rusnachenko
cs.AI
Resumo
Neste artigo, apresentamos a tarefa compartilhada de Avaliação de Diálogo sobre a extração de opiniões estruturadas de textos jornalísticos em russo. A tarefa do concurso consiste em extrair tuplas de opinião para uma determinada frase; as tuplas são compostas por um detentor de sentimento, seu alvo, uma expressão e o sentimento do detentor em relação ao alvo. No total, a tarefa recebeu mais de 100 submissões. Os participantes experimentaram principalmente com grandes modelos de linguagem em formatos zero-shot, few-shot e fine-tuning. O melhor resultado no conjunto de testes foi obtido com o fine-tuning de um grande modelo de linguagem. Também comparamos 30 prompts e 11 modelos de linguagem de código aberto com 3 a 32 bilhões de parâmetros nas configurações 1-shot e 10-shot, e identificamos os melhores modelos e prompts.
English
In this paper, we introduce the Dialogue Evaluation shared task on extraction
of structured opinions from Russian news texts. The task of the contest is to
extract opinion tuples for a given sentence; the tuples are composed of a
sentiment holder, its target, an expression and sentiment from the holder to
the target. In total, the task received more than 100 submissions. The
participants experimented mainly with large language models in zero-shot,
few-shot and fine-tuning formats. The best result on the test set was obtained
with fine-tuning of a large language model. We also compared 30 prompts and 11
open source language models with 3-32 billion parameters in the 1-shot and
10-shot settings and found the best models and prompts.