Aproveitando Modelos de Linguagem de Grande Escala para Análise Preditiva do Sofrimento Humano

Leveraging Large Language Models for Predictive Analysis of Human Misery

August 18, 2025

Autores: Bishanka Seal, Rahul Seetharaman, Aman Bansal, Abhilash Nandy

cs.AI

Resumo

Este estudo investiga o uso de Modelos de Linguagem de Grande Escala (LLMs) para prever escores de miséria percebida por humanos a partir de descrições em linguagem natural de cenários do mundo real. A tarefa é formulada como um problema de regressão, em que o modelo atribui um valor escalar de 0 a 100 a cada declaração de entrada. Avaliamos múltiplas estratégias de prompt, incluindo zero-shot, few-shot com contexto fixo e prompts baseados em recuperação usando embeddings de sentenças BERT. Abordagens few-shot superam consistentemente as baselines zero-shot, destacando o valor de exemplos contextuais na predição afetiva. Para ir além da avaliação estática, introduzimos o "Game Show da Miséria", uma estrutura gamificada inspirada em um formato televisivo. Ele testa os LLMs por meio de rodadas estruturadas envolvendo comparação ordinal, classificação binária, estimativa escalar e raciocínio orientado por feedback. Essa configuração nos permite avaliar não apenas a precisão preditiva, mas também a capacidade do modelo de se adaptar com base em feedback corretivo. A avaliação gamificada destaca o potencial mais amplo dos LLMs em tarefas dinâmicas de raciocínio emocional além da regressão padrão. Link para código e dados: https://github.com/abhi1nandy2/Misery_Data_Exps_GitHub

English

This study investigates the use of Large Language Models (LLMs) for predicting human-perceived misery scores from natural language descriptions of real-world scenarios. The task is framed as a regression problem, where the model assigns a scalar value from 0 to 100 to each input statement. We evaluate multiple prompting strategies, including zero-shot, fixed-context few-shot, and retrieval-based prompting using BERT sentence embeddings. Few-shot approaches consistently outperform zero-shot baselines, underscoring the value of contextual examples in affective prediction. To move beyond static evaluation, we introduce the "Misery Game Show", a novel gamified framework inspired by a television format. It tests LLMs through structured rounds involving ordinal comparison, binary classification, scalar estimation, and feedback-driven reasoning. This setup enables us to assess not only predictive accuracy but also the model's ability to adapt based on corrective feedback. The gamified evaluation highlights the broader potential of LLMs in dynamic emotional reasoning tasks beyond standard regression. Code and data link: https://github.com/abhi1nandy2/Misery_Data_Exps_GitHub