Готовы ли современные языковые модели объяснять концепции благополучия?

Are Today's LLMs Ready to Explain Well-Being Concepts?

August 6, 2025

Авторы: Bohan Jiang, Dawei Li, Zhen Tan, Chengshuai Zhao, Huan Liu

cs.AI

Аннотация

Благополучие охватывает психические, физические и социальные аспекты, которые имеют ключевое значение для личностного роста и принятия обоснованных жизненных решений. По мере того как люди всё чаще обращаются к крупным языковым моделям (LLM) для понимания благополучия, возникает важный вопрос: способны ли LLM генерировать объяснения, которые не только точны, но и адаптированы для разнообразной аудитории? Высококачественные объяснения требуют как фактической точности, так и способности соответствовать ожиданиям пользователей с разным уровнем знаний. В данной работе мы создаем масштабный набор данных, включающий 43 880 объяснений 2 194 концепций благополучия, сгенерированных десятью различными LLM. Мы представляем принципиально ориентированную оценочную структуру LLM-as-a-judge, использующую двойных судей для оценки качества объяснений. Кроме того, мы показываем, что тонкая настройка открытой LLM с использованием контролируемой тонкой настройки (SFT) и оптимизации прямых предпочтений (DPO) может значительно повысить качество генерируемых объяснений. Наши результаты демонстрируют: (1) предложенные LLM-судьи хорошо согласуются с человеческими оценками; (2) качество объяснений существенно варьируется в зависимости от моделей, аудиторий и категорий; (3) модели, настроенные с использованием DPO и SFT, превосходят более крупные аналоги, что подтверждает эффективность обучения на основе предпочтений для специализированных задач объяснения.

English

Well-being encompasses mental, physical, and social dimensions essential to personal growth and informed life decisions. As individuals increasingly consult Large Language Models (LLMs) to understand well-being, a key challenge emerges: Can LLMs generate explanations that are not only accurate but also tailored to diverse audiences? High-quality explanations require both factual correctness and the ability to meet the expectations of users with varying expertise. In this work, we construct a large-scale dataset comprising 43,880 explanations of 2,194 well-being concepts, generated by ten diverse LLMs. We introduce a principle-guided LLM-as-a-judge evaluation framework, employing dual judges to assess explanation quality. Furthermore, we show that fine-tuning an open-source LLM using Supervised Fine-Tuning (SFT) and Direct Preference Optimization (DPO) can significantly enhance the quality of generated explanations. Our results reveal: (1) The proposed LLM judges align well with human evaluations; (2) explanation quality varies significantly across models, audiences, and categories; and (3) DPO- and SFT-finetuned models outperform their larger counterparts, demonstrating the effectiveness of preference-based learning for specialized explanation tasks.