Historias Morales: Un Conjunto de Datos en Francés para Evaluar la Alineación Moral

Histoires Morales: A French Dataset for Assessing Moral Alignment

January 28, 2025

Autores: Thibaud Leteno, Irina Proskurina, Antoine Gourru, Julien Velcin, Charlotte Laclau, Guillaume Metzler, Christophe Gravier

cs.AI

Resumen

Alinear los modelos de lenguaje con los valores humanos es crucial, especialmente a medida que se integran más en la vida cotidiana. Si bien los modelos suelen adaptarse a las preferencias del usuario, es igualmente importante asegurar que se alineen con las normas morales y comportamientos en situaciones sociales del mundo real. A pesar del progreso significativo en idiomas como el inglés y el chino, el francés ha recibido poca atención en esta área, dejando un vacío en la comprensión de cómo los LLMs manejan el razonamiento moral en este idioma. Para abordar esta brecha, presentamos Histoires Morales, un conjunto de datos en francés derivado de Cuentos Morales, creado a través de traducción y posteriormente refinado con la ayuda de hablantes nativos para garantizar la precisión gramatical y la adaptación al contexto cultural francés. También nos basamos en anotaciones de los valores morales dentro del conjunto de datos para garantizar su alineación con las normas francesas. Histoires Morales abarca una amplia gama de situaciones sociales, incluidas diferencias en prácticas de propinas, expresiones de honestidad en relaciones y responsabilidades hacia los animales. Para fomentar la investigación futura, también realizamos experimentos preliminares sobre la alineación de modelos multilingües en datos en francés e inglés y la robustez de la alineación. Descubrimos que si bien los LLMs suelen estar alineados con las normas morales humanas por defecto, pueden ser fácilmente influenciados con la optimización de preferencias del usuario tanto para datos morales como inmorales.

English

Aligning language models with human values is crucial, especially as they become more integrated into everyday life. While models are often adapted to user preferences, it is equally important to ensure they align with moral norms and behaviours in real-world social situations. Despite significant progress in languages like English and Chinese, French has seen little attention in this area, leaving a gap in understanding how LLMs handle moral reasoning in this language. To address this gap, we introduce Histoires Morales, a French dataset derived from Moral Stories, created through translation and subsequently refined with the assistance of native speakers to guarantee grammatical accuracy and adaptation to the French cultural context. We also rely on annotations of the moral values within the dataset to ensure their alignment with French norms. Histoires Morales covers a wide range of social situations, including differences in tipping practices, expressions of honesty in relationships, and responsibilities toward animals. To foster future research, we also conduct preliminary experiments on the alignment of multilingual models on French and English data and the robustness of the alignment. We find that while LLMs are generally aligned with human moral norms by default, they can be easily influenced with user-preference optimization for both moral and immoral data.