Evaluando el papel de las "constituciones" para aprender de la retroalimentación de la IA.

Evaluating the role of `Constitutions' for learning from AI feedback

November 15, 2024

Autores: Saskia Redgate, Andrew M. Bean, Adam Mahdi

cs.AI

Resumen

Las crecientes capacidades de los modelos de lenguaje grandes (LLMs, por sus siglas en inglés) han llevado a su uso como sustitutos de la retroalimentación humana para entrenar y evaluar otros LLMs. Estos métodos a menudo se basan en 'constituciones', pautas escritas que un modelo crítico utiliza para brindar retroalimentación y mejorar generaciones. Investigamos cómo la elección de la constitución afecta la calidad de la retroalimentación al utilizar cuatro constituciones diferentes para mejorar la comunicación centrada en el paciente en entrevistas médicas. En comparaciones de a pares realizadas por 215 evaluadores humanos, encontramos que las constituciones detalladas condujeron a mejores resultados en cuanto a cualidades emotivas. Sin embargo, ninguna de las constituciones superó la línea base en el aprendizaje de habilidades más orientadas a la práctica relacionadas con la recopilación y provisión de información. Nuestros hallazgos indican que si bien las constituciones detalladas deberían ser priorizadas, existen posibles limitaciones en la efectividad de la retroalimentación de IA como señal de recompensa en ciertas áreas.

English

The growing capabilities of large language models (LLMs) have led to their use as substitutes for human feedback for training and assessing other LLMs. These methods often rely on `constitutions', written guidelines which a critic model uses to provide feedback and improve generations. We investigate how the choice of constitution affects feedback quality by using four different constitutions to improve patient-centered communication in medical interviews. In pairwise comparisons conducted by 215 human raters, we found that detailed constitutions led to better results regarding emotive qualities. However, none of the constitutions outperformed the baseline in learning more practically-oriented skills related to information gathering and provision. Our findings indicate that while detailed constitutions should be prioritised, there are possible limitations to the effectiveness of AI feedback as a reward signal in certain areas.