大規模言語モデルを活用した人間の苦悩の予測分析

要旨

本研究では、現実世界のシナリオを自然言語で記述したテキストから、人間が感じる苦悩度スコアを予測するための大規模言語モデル（LLM）の利用を調査します。このタスクは回帰問題として定式化され、モデルは各入力文に対して0から100のスカラー値を割り当てます。我々は、ゼロショット、固定コンテキストの少数ショット、およびBERT文埋め込みを用いた検索ベースのプロンプティングなど、複数のプロンプト戦略を評価します。少数ショットアプローチは一貫してゼロショットベースラインを上回り、感情予測における文脈例の価値を強調しています。静的評価を超えるために、テレビ番組の形式に着想を得た「ミザリー・ゲームショー」という新しいゲーミフィケーションフレームワークを導入します。これは、順序比較、二値分類、スカラー推定、フィードバック駆動推論を含む構造化されたラウンドを通じてLLMをテストします。この設定により、予測精度だけでなく、修正フィードバックに基づいて適応するモデルの能力も評価できます。ゲーミフィケーション評価は、標準的な回帰を超えた動的な感情推論タスクにおけるLLMの広範な可能性を浮き彫りにします。コードとデータリンク：https://github.com/abhi1nandy2/Misery_Data_Exps_GitHub

English

This study investigates the use of Large Language Models (LLMs) for predicting human-perceived misery scores from natural language descriptions of real-world scenarios. The task is framed as a regression problem, where the model assigns a scalar value from 0 to 100 to each input statement. We evaluate multiple prompting strategies, including zero-shot, fixed-context few-shot, and retrieval-based prompting using BERT sentence embeddings. Few-shot approaches consistently outperform zero-shot baselines, underscoring the value of contextual examples in affective prediction. To move beyond static evaluation, we introduce the "Misery Game Show", a novel gamified framework inspired by a television format. It tests LLMs through structured rounds involving ordinal comparison, binary classification, scalar estimation, and feedback-driven reasoning. This setup enables us to assess not only predictive accuracy but also the model's ability to adapt based on corrective feedback. The gamified evaluation highlights the broader potential of LLMs in dynamic emotional reasoning tasks beyond standard regression. Code and data link: https://github.com/abhi1nandy2/Misery_Data_Exps_GitHub

大規模言語モデルを活用した人間の苦悩の予測分析

Leveraging Large Language Models for Predictive Analysis of Human Misery

要旨

Support