Aprimoramento da Classificação de Sentimentos e Detecção de Ironia em Modelos de Linguagem de Grande Porte por meio de Técnicas Avançadas de Engenharia de Prompt
Enhancing Sentiment Classification and Irony Detection in Large Language Models through Advanced Prompt Engineering Techniques
January 13, 2026
Autores: Marvin Schmitt, Anne Schwerk, Sebastian Lempert
cs.AI
Resumo
Este estudo investiga o uso da engenharia de prompts para aprimorar modelos de linguagem de grande porte (LLMs), especificamente o GPT-4o-mini e o gemini-1.5-flash, em tarefas de análise de sentimentos. Avalia técnicas avançadas de prompting, como aprendizado com poucos exemplos (few-shot learning), prompting de cadeia de pensamento (chain-of-thought) e autoconsistência (self-consistency), comparando-as com uma linha de base. As principais tarefas incluem classificação de sentimentos, análise de sentimentos baseada em aspectos e a detecção de nuances sutis, como a ironia. A pesquisa detalha o embasamento teórico, os conjuntos de dados e os métodos utilizados, avaliando o desempenho dos LLMs por meio de métricas de acurácia, revocação, precisão e pontuação F1. Os resultados revelam que as técnicas avançadas de prompting melhoram significativamente a análise de sentimentos, com a abordagem de poucos exemplos se destacando no GPT-4o-mini e o prompting de cadeia de pensamento impulsionando a detecção de ironia no gemini-1.5-flash em até 46%. Dessa forma, embora as técnicas de prompting avançadas melhorem o desempenho geral, o fato de o prompting com poucos exemplos funcionar melhor para o GPT-4o-mini e o de cadeia de pensamento se sobressair no gemini-1.5-flash para detecção de ironia sugere que as estratégias de prompting devem ser adaptadas tanto ao modelo quanto à tarefa. Isso ressalta a importância de alinhar o design do prompt tanto com a arquitetura do LLM quanto com a complexidade semântica da tarefa.
English
This study investigates the use of prompt engineering to enhance large language models (LLMs), specifically GPT-4o-mini and gemini-1.5-flash, in sentiment analysis tasks. It evaluates advanced prompting techniques like few-shot learning, chain-of-thought prompting, and self-consistency against a baseline. Key tasks include sentiment classification, aspect-based sentiment analysis, and detecting subtle nuances such as irony. The research details the theoretical background, datasets, and methods used, assessing performance of LLMs as measured by accuracy, recall, precision, and F1 score. Findings reveal that advanced prompting significantly improves sentiment analysis, with the few-shot approach excelling in GPT-4o-mini and chain-of-thought prompting boosting irony detection in gemini-1.5-flash by up to 46%. Thus, while advanced prompting techniques overall improve performance, the fact that few-shot prompting works best for GPT-4o-mini and chain-of-thought excels in gemini-1.5-flash for irony detection suggests that prompting strategies must be tailored to both the model and the task. This highlights the importance of aligning prompt design with both the LLM's architecture and the semantic complexity of the task.