Sfruttare i Modelli Linguistici di Grande Scala per l'Analisi Predittiva della Sofferenza Umana

Leveraging Large Language Models for Predictive Analysis of Human Misery

August 18, 2025

Autori: Bishanka Seal, Rahul Seetharaman, Aman Bansal, Abhilash Nandy

cs.AI

Abstract

Questo studio indaga l'uso di Large Language Models (LLM) per prevedere punteggi di miseria percepita dall'uomo a partire da descrizioni in linguaggio naturale di scenari del mondo reale. Il compito è inquadrato come un problema di regressione, in cui il modello assegna un valore scalare da 0 a 100 a ciascuna dichiarazione in input. Valutiamo diverse strategie di prompting, tra cui zero-shot, few-shot a contesto fisso e prompting basato su retrieval utilizzando embeddings di frasi BERT. Gli approcci few-shot superano costantemente i baseline zero-shot, sottolineando il valore degli esempi contestuali nella previsione affettiva. Per andare oltre la valutazione statica, introduciamo il "Misery Game Show", un nuovo framework gamificato ispirato a un format televisivo. Esso mette alla prova i LLM attraverso round strutturati che coinvolgono confronto ordinale, classificazione binaria, stima scalare e ragionamento guidato dal feedback. Questa configurazione ci consente di valutare non solo l'accuratezza predittiva, ma anche la capacità del modello di adattarsi in base a feedback correttivi. La valutazione gamificata evidenzia il potenziale più ampio dei LLM in compiti di ragionamento emotivo dinamico che vanno oltre la regressione standard. Codice e dati disponibili al link: https://github.com/abhi1nandy2/Misery_Data_Exps_GitHub

English

This study investigates the use of Large Language Models (LLMs) for predicting human-perceived misery scores from natural language descriptions of real-world scenarios. The task is framed as a regression problem, where the model assigns a scalar value from 0 to 100 to each input statement. We evaluate multiple prompting strategies, including zero-shot, fixed-context few-shot, and retrieval-based prompting using BERT sentence embeddings. Few-shot approaches consistently outperform zero-shot baselines, underscoring the value of contextual examples in affective prediction. To move beyond static evaluation, we introduce the "Misery Game Show", a novel gamified framework inspired by a television format. It tests LLMs through structured rounds involving ordinal comparison, binary classification, scalar estimation, and feedback-driven reasoning. This setup enables us to assess not only predictive accuracy but also the model's ability to adapt based on corrective feedback. The gamified evaluation highlights the broader potential of LLMs in dynamic emotional reasoning tasks beyond standard regression. Code and data link: https://github.com/abhi1nandy2/Misery_Data_Exps_GitHub