Gebruikmaken van Grote Taalmodellen voor Voorspellende Analyse van Menselijk Lijden
Leveraging Large Language Models for Predictive Analysis of Human Misery
August 18, 2025
Auteurs: Bishanka Seal, Rahul Seetharaman, Aman Bansal, Abhilash Nandy
cs.AI
Samenvatting
Dit onderzoek bestudeert het gebruik van Large Language Models (LLMs) voor het voorspellen van door mensen waargenomen ellende-scores op basis van natuurlijke taal beschrijvingen van realistische scenario's. De taak wordt geformuleerd als een regressieprobleem, waarbij het model een scalaire waarde tussen 0 en 100 toekent aan elke invoeruitspraak. We evalueren meerdere promptingstrategieën, waaronder zero-shot, fixed-context few-shot en retrieval-based prompting met behulp van BERT-zinsembeddings. Few-shot benaderingen presteren consistent beter dan zero-shot baseline-methoden, wat het belang van contextuele voorbeelden in affectieve voorspelling onderstreept. Om verder te gaan dan statische evaluatie, introduceren we de "Misery Game Show", een nieuw gegamificeerd raamwerk geïnspireerd op een televisieformaat. Het test LLMs via gestructureerde rondes die ordinale vergelijking, binaire classificatie, scalaire schatting en feedback-gestuurd redeneren omvatten. Deze opzet stelt ons in staat om niet alleen de voorspellingsnauwkeurigheid te beoordelen, maar ook het vermogen van het model om zich aan te passen op basis van corrigerende feedback. De gegamificeerde evaluatie benadrukt het bredere potentieel van LLMs in dynamische emotionele redeneertaken die verder gaan dan standaard regressie. Code en data link: https://github.com/abhi1nandy2/Misery_Data_Exps_GitHub
English
This study investigates the use of Large Language Models (LLMs) for
predicting human-perceived misery scores from natural language descriptions of
real-world scenarios. The task is framed as a regression problem, where the
model assigns a scalar value from 0 to 100 to each input statement. We evaluate
multiple prompting strategies, including zero-shot, fixed-context few-shot, and
retrieval-based prompting using BERT sentence embeddings. Few-shot approaches
consistently outperform zero-shot baselines, underscoring the value of
contextual examples in affective prediction. To move beyond static evaluation,
we introduce the "Misery Game Show", a novel gamified framework inspired by a
television format. It tests LLMs through structured rounds involving ordinal
comparison, binary classification, scalar estimation, and feedback-driven
reasoning. This setup enables us to assess not only predictive accuracy but
also the model's ability to adapt based on corrective feedback. The gamified
evaluation highlights the broader potential of LLMs in dynamic emotional
reasoning tasks beyond standard regression. Code and data link:
https://github.com/abhi1nandy2/Misery_Data_Exps_GitHub