Aprovechamiento de Modelos de Lenguaje a Gran Escala para el Análisis Predictivo de la Miseria Humana

Leveraging Large Language Models for Predictive Analysis of Human Misery

August 18, 2025

Autores: Bishanka Seal, Rahul Seetharaman, Aman Bansal, Abhilash Nandy

cs.AI

Resumen

Este estudio investiga el uso de Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés) para predecir puntuaciones de miseria percibida por humanos a partir de descripciones en lenguaje natural de escenarios del mundo real. La tarea se plantea como un problema de regresión, donde el modelo asigna un valor escalar entre 0 y 100 a cada enunciado de entrada. Evaluamos múltiples estrategias de "prompting", incluyendo enfoques de "zero-shot", "few-shot" con contexto fijo y "prompting" basado en recuperación utilizando embeddings de oraciones de BERT. Los enfoques de "few-shot" superan consistentemente a las líneas base de "zero-shot", destacando el valor de los ejemplos contextuales en la predicción afectiva. Para ir más allá de la evaluación estática, introducimos el "Misery Game Show", un marco gamificado novedoso inspirado en un formato televisivo. Este pone a prueba a los LLMs a través de rondas estructuradas que involucran comparación ordinal, clasificación binaria, estimación escalar y razonamiento basado en retroalimentación. Esta configuración nos permite evaluar no solo la precisión predictiva, sino también la capacidad del modelo para adaptarse basándose en retroalimentación correctiva. La evaluación gamificada resalta el potencial más amplio de los LLMs en tareas de razonamiento emocional dinámico más allá de la regresión estándar. Enlace al código y datos: https://github.com/abhi1nandy2/Misery_Data_Exps_GitHub.

English

This study investigates the use of Large Language Models (LLMs) for predicting human-perceived misery scores from natural language descriptions of real-world scenarios. The task is framed as a regression problem, where the model assigns a scalar value from 0 to 100 to each input statement. We evaluate multiple prompting strategies, including zero-shot, fixed-context few-shot, and retrieval-based prompting using BERT sentence embeddings. Few-shot approaches consistently outperform zero-shot baselines, underscoring the value of contextual examples in affective prediction. To move beyond static evaluation, we introduce the "Misery Game Show", a novel gamified framework inspired by a television format. It tests LLMs through structured rounds involving ordinal comparison, binary classification, scalar estimation, and feedback-driven reasoning. This setup enables us to assess not only predictive accuracy but also the model's ability to adapt based on corrective feedback. The gamified evaluation highlights the broader potential of LLMs in dynamic emotional reasoning tasks beyond standard regression. Code and data link: https://github.com/abhi1nandy2/Misery_Data_Exps_GitHub