Использование больших языковых моделей для прогнозного анализа человеческого страдания
Leveraging Large Language Models for Predictive Analysis of Human Misery
August 18, 2025
Авторы: Bishanka Seal, Rahul Seetharaman, Aman Bansal, Abhilash Nandy
cs.AI
Аннотация
В данном исследовании изучается использование больших языковых моделей (LLMs) для прогнозирования оценок человеческого восприятия страданий на основе естественно-языковых описаний реальных сценариев. Задача формулируется как проблема регрессии, где модель присваивает каждому входному утверждению скалярное значение от 0 до 100. Мы оцениваем несколько стратегий промптинга, включая zero-shot, few-shot с фиксированным контекстом и промптинг на основе извлечения с использованием эмбеддингов предложений BERT. Подходы few-shot стабильно превосходят базовые методы zero-shot, подчеркивая важность контекстных примеров для аффективного прогнозирования. Чтобы выйти за рамки статической оценки, мы представляем "Шоу страданий" — новый геймифицированный фреймворк, вдохновленный телевизионным форматом. Он тестирует LLMs через структурированные раунды, включающие порядковое сравнение, бинарную классификацию, скалярную оценку и рассуждения на основе обратной связи. Этот подход позволяет оценить не только точность прогнозирования, но и способность модели адаптироваться на основе корректирующей обратной связи. Геймифицированная оценка подчеркивает более широкий потенциал LLMs в задачах динамического эмоционального рассуждения, выходящих за рамки стандартной регрессии. Ссылка на код и данные: https://github.com/abhi1nandy2/Misery_Data_Exps_GitHub
English
This study investigates the use of Large Language Models (LLMs) for
predicting human-perceived misery scores from natural language descriptions of
real-world scenarios. The task is framed as a regression problem, where the
model assigns a scalar value from 0 to 100 to each input statement. We evaluate
multiple prompting strategies, including zero-shot, fixed-context few-shot, and
retrieval-based prompting using BERT sentence embeddings. Few-shot approaches
consistently outperform zero-shot baselines, underscoring the value of
contextual examples in affective prediction. To move beyond static evaluation,
we introduce the "Misery Game Show", a novel gamified framework inspired by a
television format. It tests LLMs through structured rounds involving ordinal
comparison, binary classification, scalar estimation, and feedback-driven
reasoning. This setup enables us to assess not only predictive accuracy but
also the model's ability to adapt based on corrective feedback. The gamified
evaluation highlights the broader potential of LLMs in dynamic emotional
reasoning tasks beyond standard regression. Code and data link:
https://github.com/abhi1nandy2/Misery_Data_Exps_GitHub