RuOpinionNE-2024: Extraktion von Meinungstupeln aus russischen Nachrichtentexten

RuOpinionNE-2024: Extraction of Opinion Tuples from Russian News Texts

April 9, 2025

Autoren: Natalia Loukachevitch, Natalia Tkachenko, Anna Lapanitsyna, Mikhail Tikhomirov, Nicolay Rusnachenko

cs.AI

Zusammenfassung

In diesem Artikel stellen wir die Dialogue Evaluation Shared Task zur Extraktion strukturierter Meinungen aus russischen Nachrichtentexten vor. Die Aufgabe des Wettbewerbs besteht darin, Meinungstupel für einen gegebenen Satz zu extrahieren; die Tupel setzen sich aus einem Meinungsträger, dessen Zielobjekt, einem Ausdruck und der Einstellung des Trägers gegenüber dem Zielobjekt zusammen. Insgesamt erhielt die Aufgabe mehr als 100 Einreichungen. Die Teilnehmer experimentierten hauptsächlich mit großen Sprachmodellen in Zero-Shot-, Few-Shot- und Fine-Tuning-Formaten. Das beste Ergebnis auf dem Testset wurde durch das Fine-Tuning eines großen Sprachmodells erzielt. Wir verglichen außerdem 30 Prompts und 11 Open-Source-Sprachmodelle mit 3 bis 32 Milliarden Parametern in den 1-Shot- und 10-Shot-Einstellungen und identifizierten die besten Modelle und Prompts.

English

In this paper, we introduce the Dialogue Evaluation shared task on extraction of structured opinions from Russian news texts. The task of the contest is to extract opinion tuples for a given sentence; the tuples are composed of a sentiment holder, its target, an expression and sentiment from the holder to the target. In total, the task received more than 100 submissions. The participants experimented mainly with large language models in zero-shot, few-shot and fine-tuning formats. The best result on the test set was obtained with fine-tuning of a large language model. We also compared 30 prompts and 11 open source language models with 3-32 billion parameters in the 1-shot and 10-shot settings and found the best models and prompts.