Оценка роли "конституций" для извлечения уроков из обратной связи искусственного интеллекта

Evaluating the role of `Constitutions' for learning from AI feedback

November 15, 2024

Авторы: Saskia Redgate, Andrew M. Bean, Adam Mahdi

cs.AI

Аннотация

Растущие возможности больших языковых моделей (БЯМ) привели к их использованию в качестве заменителей человеческой обратной связи для обучения и оценки других БЯМ. Эти методы часто опираются на «конституции», написанные руководства, которые критическая модель использует для предоставления обратной связи и улучшения генераций. Мы исследуем, как выбор конституции влияет на качество обратной связи, используя четыре различные конституции для улучшения коммуникации, ориентированной на пациента, в медицинских интервью. В парных сравнениях, проведенных 215 человеческими оценщиками, мы обнаружили, что подробные конституции приводят к лучшим результатам в отношении эмоциональных качеств. Однако ни одна из конституций не превзошла базовый уровень в изучении более практически ориентированных навыков, связанных с сбором и предоставлением информации. Наши результаты указывают на то, что хотя подробные конституции следует приоритизировать, существуют возможные ограничения эффективности обратной связи ИИ в качестве сигнала вознаграждения в определенных областях.

English

The growing capabilities of large language models (LLMs) have led to their use as substitutes for human feedback for training and assessing other LLMs. These methods often rely on `constitutions', written guidelines which a critic model uses to provide feedback and improve generations. We investigate how the choice of constitution affects feedback quality by using four different constitutions to improve patient-centered communication in medical interviews. In pairwise comparisons conducted by 215 human raters, we found that detailed constitutions led to better results regarding emotive qualities. However, none of the constitutions outperformed the baseline in learning more practically-oriented skills related to information gathering and provision. Our findings indicate that while detailed constitutions should be prioritised, there are possible limitations to the effectiveness of AI feedback as a reward signal in certain areas.