Exploiter les modèles de langage à grande échelle pour l'analyse prédictive de la détresse humaine
Leveraging Large Language Models for Predictive Analysis of Human Misery
August 18, 2025
papers.authors: Bishanka Seal, Rahul Seetharaman, Aman Bansal, Abhilash Nandy
cs.AI
papers.abstract
Cette étude explore l'utilisation des modèles de langage de grande taille (LLMs) pour prédire les scores de misère perçus par les humains à partir de descriptions en langage naturel de scénarios réels. La tâche est formulée comme un problème de régression, où le modèle attribue une valeur scalaire comprise entre 0 et 100 à chaque énoncé en entrée. Nous évaluons plusieurs stratégies d'incitation, notamment l'approche zero-shot, le few-shot à contexte fixe et l'incitation basée sur la récupération utilisant des embeddings de phrases BERT. Les approches few-shot surpassent systématiquement les bases de référence zero-shot, soulignant l'importance des exemples contextuels dans la prédiction affective. Pour aller au-delà de l'évaluation statique, nous introduisons le "Misery Game Show", un cadre gamifié novateur inspiré d'un format télévisuel. Il teste les LLMs à travers des tours structurés impliquant la comparaison ordinale, la classification binaire, l'estimation scalaire et le raisonnement basé sur les retours d'information. Cette configuration nous permet d'évaluer non seulement la précision prédictive, mais aussi la capacité du modèle à s'adapter en fonction des retours correctifs. L'évaluation gamifiée met en lumière le potentiel plus large des LLMs dans des tâches de raisonnement émotionnel dynamique au-delà de la régression standard. Lien vers le code et les données : https://github.com/abhi1nandy2/Misery_Data_Exps_GitHub
English
This study investigates the use of Large Language Models (LLMs) for
predicting human-perceived misery scores from natural language descriptions of
real-world scenarios. The task is framed as a regression problem, where the
model assigns a scalar value from 0 to 100 to each input statement. We evaluate
multiple prompting strategies, including zero-shot, fixed-context few-shot, and
retrieval-based prompting using BERT sentence embeddings. Few-shot approaches
consistently outperform zero-shot baselines, underscoring the value of
contextual examples in affective prediction. To move beyond static evaluation,
we introduce the "Misery Game Show", a novel gamified framework inspired by a
television format. It tests LLMs through structured rounds involving ordinal
comparison, binary classification, scalar estimation, and feedback-driven
reasoning. This setup enables us to assess not only predictive accuracy but
also the model's ability to adapt based on corrective feedback. The gamified
evaluation highlights the broader potential of LLMs in dynamic emotional
reasoning tasks beyond standard regression. Code and data link:
https://github.com/abhi1nandy2/Misery_Data_Exps_GitHub