Histoires Morales: Um Conjunto de Dados Francês para Avaliar o Alinhamento Moral

Histoires Morales: A French Dataset for Assessing Moral Alignment

January 28, 2025

Autores: Thibaud Leteno, Irina Proskurina, Antoine Gourru, Julien Velcin, Charlotte Laclau, Guillaume Metzler, Christophe Gravier

cs.AI

Resumo

Alinhar modelos de linguagem com os valores humanos é crucial, especialmente à medida que se tornam mais integrados à vida cotidiana. Embora os modelos sejam frequentemente adaptados às preferências do usuário, é igualmente importante garantir que estejam alinhados com normas morais e comportamentos em situações sociais do mundo real. Apesar do progresso significativo em idiomas como inglês e chinês, o francês tem recebido pouca atenção nessa área, deixando uma lacuna na compreensão de como os LLMs lidam com o raciocínio moral nesse idioma. Para abordar essa lacuna, apresentamos o Histoires Morales, um conjunto de dados em francês derivado de Histórias Morais, criado por meio de tradução e posteriormente refinado com a ajuda de falantes nativos para garantir precisão gramatical e adaptação ao contexto cultural francês. Também contamos com anotações dos valores morais dentro do conjunto de dados para garantir seu alinhamento com as normas francesas. Histoires Morales abrange uma ampla gama de situações sociais, incluindo diferenças nas práticas de gorjeta, expressões de honestidade em relacionamentos e responsabilidades para com os animais. Para promover pesquisas futuras, também realizamos experimentos preliminares sobre o alinhamento de modelos multilíngues em dados em francês e inglês e a robustez desse alinhamento. Constatamos que, embora os LLMs geralmente estejam alinhados com normas morais humanas por padrão, eles podem ser facilmente influenciados com a otimização de preferências do usuário para dados tanto morais quanto imorais.

English

Aligning language models with human values is crucial, especially as they become more integrated into everyday life. While models are often adapted to user preferences, it is equally important to ensure they align with moral norms and behaviours in real-world social situations. Despite significant progress in languages like English and Chinese, French has seen little attention in this area, leaving a gap in understanding how LLMs handle moral reasoning in this language. To address this gap, we introduce Histoires Morales, a French dataset derived from Moral Stories, created through translation and subsequently refined with the assistance of native speakers to guarantee grammatical accuracy and adaptation to the French cultural context. We also rely on annotations of the moral values within the dataset to ensure their alignment with French norms. Histoires Morales covers a wide range of social situations, including differences in tipping practices, expressions of honesty in relationships, and responsibilities toward animals. To foster future research, we also conduct preliminary experiments on the alignment of multilingual models on French and English data and the robustness of the alignment. We find that while LLMs are generally aligned with human moral norms by default, they can be easily influenced with user-preference optimization for both moral and immoral data.