RuOpinionNE-2024: Extracción de Tuplas de Opinión de Textos de Noticias en Ruso

RuOpinionNE-2024: Extraction of Opinion Tuples from Russian News Texts

April 9, 2025

Autores: Natalia Loukachevitch, Natalia Tkachenko, Anna Lapanitsyna, Mikhail Tikhomirov, Nicolay Rusnachenko

cs.AI

Resumen

En este artículo, presentamos la tarea compartida de Evaluación de Diálogos sobre la extracción de opiniones estructuradas de textos noticiosos en ruso. El objetivo del concurso es extraer tuplas de opinión para una oración dada; las tuplas están compuestas por un titular de sentimiento, su objetivo, una expresión y el sentimiento del titular hacia el objetivo. En total, la tarea recibió más de 100 propuestas. Los participantes experimentaron principalmente con modelos de lenguaje grandes en formatos zero-shot, few-shot y fine-tuning. El mejor resultado en el conjunto de prueba se obtuvo mediante el fine-tuning de un modelo de lenguaje grande. También comparamos 30 prompts y 11 modelos de lenguaje de código abierto con 3 a 32 mil millones de parámetros en configuraciones 1-shot y 10-shot, y encontramos los mejores modelos y prompts.

English

In this paper, we introduce the Dialogue Evaluation shared task on extraction of structured opinions from Russian news texts. The task of the contest is to extract opinion tuples for a given sentence; the tuples are composed of a sentiment holder, its target, an expression and sentiment from the holder to the target. In total, the task received more than 100 submissions. The participants experimented mainly with large language models in zero-shot, few-shot and fine-tuning formats. The best result on the test set was obtained with fine-tuning of a large language model. We also compared 30 prompts and 11 open source language models with 3-32 billion parameters in the 1-shot and 10-shot settings and found the best models and prompts.