Storie Morali: Un Dataset Francese per Valutare l'Allineamento Morale

Histoires Morales: A French Dataset for Assessing Moral Alignment

January 28, 2025

Autori: Thibaud Leteno, Irina Proskurina, Antoine Gourru, Julien Velcin, Charlotte Laclau, Guillaume Metzler, Christophe Gravier

cs.AI

Abstract

Allineare i modelli linguistici ai valori umani è cruciale, specialmente mentre diventano sempre più integrati nella vita quotidiana. Sebbene i modelli siano spesso adattati alle preferenze degli utenti, è altrettanto importante garantire che siano in linea con le norme morali e i comportamenti nelle situazioni sociali reali. Nonostante i significativi progressi nelle lingue come l'inglese e il cinese, il francese ha ricevuto scarsa attenzione in questo ambito, lasciando una lacuna nella comprensione di come i LLM gestiscano il ragionamento morale in questa lingua. Per affrontare questa lacuna, presentiamo Histoires Morales, un dataset francese derivato da Storie Morali, creato attraverso la traduzione e successivamente perfezionato con l'assistenza di madrelingua per garantire l'accuratezza grammaticale e l'adattamento al contesto culturale francese. Ci affidiamo anche alle annotazioni dei valori morali all'interno del dataset per garantirne l'allineamento con le norme francesi. Histoires Morales copre una vasta gamma di situazioni sociali, incluse le differenze nelle pratiche di mance, le espressioni di onestà nelle relazioni e le responsabilità verso gli animali. Per promuovere la ricerca futura, conduciamo anche esperimenti preliminari sull'allineamento dei modelli multilingue sui dati in francese e in inglese e sulla robustezza dell'allineamento. Riscontriamo che sebbene i LLM siano generalmente allineati con le norme morali umane per impostazione predefinita, possono essere facilmente influenzati con l'ottimizzazione delle preferenze dell'utente sia per i dati morali che immorali.

English

Aligning language models with human values is crucial, especially as they become more integrated into everyday life. While models are often adapted to user preferences, it is equally important to ensure they align with moral norms and behaviours in real-world social situations. Despite significant progress in languages like English and Chinese, French has seen little attention in this area, leaving a gap in understanding how LLMs handle moral reasoning in this language. To address this gap, we introduce Histoires Morales, a French dataset derived from Moral Stories, created through translation and subsequently refined with the assistance of native speakers to guarantee grammatical accuracy and adaptation to the French cultural context. We also rely on annotations of the moral values within the dataset to ensure their alignment with French norms. Histoires Morales covers a wide range of social situations, including differences in tipping practices, expressions of honesty in relationships, and responsibilities toward animals. To foster future research, we also conduct preliminary experiments on the alignment of multilingual models on French and English data and the robustness of the alignment. We find that while LLMs are generally aligned with human moral norms by default, they can be easily influenced with user-preference optimization for both moral and immoral data.