大規模言語モデルを用いたリトアニア語オンラインレビューの感情分析

Sentiment Analysis of Lithuanian Online Reviews Using Large Language Models

July 29, 2024

著者: Brigita Vileikytė, Mantas Lukoševičius, Lukas Stankevičius

cs.AI

要旨

感情分析は、自然言語処理（NLP）分野において広く研究されている領域であり、自動化ソリューションの登場により大きな関心を集めています。しかし、言語の本質的な複雑さと感情の主観的な性質により、このタスクは依然として困難です。特に、リトアニア語のような研究が少なくリソースが限られた言語では、その難易度はさらに高まります。既存のリトアニア語NLP研究をレビューした結果、従来の機械学習手法や分類アルゴリズムはこのタスクに対して限定的な効果しかないことが明らかになりました。本研究では、複数のドメインから収集しクリーニングしたリトアニア語の5段階評価に基づくオンラインレビューを対象に、感情分析を行います。このタスクに初めてトランスフォーマーモデルを適用し、事前学習済みの多言語大規模言語モデル（LLM）の能力を探求します。具体的には、BERTモデルとT5モデルのファインチューニングに焦点を当てます。タスクの本質的な難しさを考慮すると、ファインチューニングされたモデルは特に感情が曖昧でない場合に良好な性能を示し、最も一般的な1段階評価と5段階評価のレビューに対するテスト認識精度はそれぞれ80.74%と89.61%でした。これらのモデルは、現在の商用汎用LLMであるGPT-4を大幅に上回る性能を示しました。ファインチューニングされたLLMはオンラインで公開しています。

English

Sentiment analysis is a widely researched area within Natural Language Processing (NLP), attracting significant interest due to the advent of automated solutions. Despite this, the task remains challenging because of the inherent complexity of languages and the subjective nature of sentiments. It is even more challenging for less-studied and less-resourced languages such as Lithuanian. Our review of existing Lithuanian NLP research reveals that traditional machine learning methods and classification algorithms have limited effectiveness for the task. In this work, we address sentiment analysis of Lithuanian five-star-based online reviews from multiple domains that we collect and clean. We apply transformer models to this task for the first time, exploring the capabilities of pre-trained multilingual Large Language Models (LLMs), specifically focusing on fine-tuning BERT and T5 models. Given the inherent difficulty of the task, the fine-tuned models perform quite well, especially when the sentiments themselves are less ambiguous: 80.74% and 89.61% testing recognition accuracy of the most popular one- and five-star reviews respectively. They significantly outperform current commercial state-of-the-art general-purpose LLM GPT-4. We openly share our fine-tuned LLMs online.