Avaliando o papel das "Constituições" para aprender com o feedback de IA

Evaluating the role of `Constitutions' for learning from AI feedback

November 15, 2024

Autores: Saskia Redgate, Andrew M. Bean, Adam Mahdi

cs.AI

Resumo

As crescentes capacidades dos grandes modelos de linguagem (LLMs) levaram ao seu uso como substitutos do feedback humano para treinar e avaliar outros LLMs. Esses métodos frequentemente dependem de 'constituições', diretrizes escritas que um modelo crítico utiliza para fornecer feedback e melhorar as gerações. Investigamos como a escolha da constituição afeta a qualidade do feedback ao usar quatro constituições diferentes para melhorar a comunicação centrada no paciente em entrevistas médicas. Em comparações em pares realizadas por 215 avaliadores humanos, descobrimos que constituições detalhadas levaram a melhores resultados em relação às qualidades emotivas. No entanto, nenhuma das constituições superou a linha de base na aprendizagem de habilidades mais orientadas para a prática relacionadas à coleta e fornecimento de informações. Nossas descobertas indicam que, embora as constituições detalhadas devam ser priorizadas, existem possíveis limitações para a eficácia do feedback de IA como sinal de recompensa em determinadas áreas.

English

The growing capabilities of large language models (LLMs) have led to their use as substitutes for human feedback for training and assessing other LLMs. These methods often rely on `constitutions', written guidelines which a critic model uses to provide feedback and improve generations. We investigate how the choice of constitution affects feedback quality by using four different constitutions to improve patient-centered communication in medical interviews. In pairwise comparisons conducted by 215 human raters, we found that detailed constitutions led to better results regarding emotive qualities. However, none of the constitutions outperformed the baseline in learning more practically-oriented skills related to information gathering and provision. Our findings indicate that while detailed constitutions should be prioritised, there are possible limitations to the effectiveness of AI feedback as a reward signal in certain areas.