コモンズの有害性：オープンソースの事前トレーニングデータのキュレーション

Toxicity of the Commons: Curating Open-Source Pre-Training Data

October 29, 2024

著者: Catherine Arnett, Eliot Jones, Ivan P. Yamshchikov, Pierre-Carl Langlais

cs.AI

要旨

オープンソースの大規模言語モデルは、研究者や実務家の間でますます利用可能になり、人気を博しています。オープンウェイトモデルに関しては重要な進展が見られますが、主要なオープンウェイトモデルの作成者によるオープントレーニングデータの採用はまだ一般的ではありません。同時に、研究者たちは言語モデルをより安全にする取り組みを行っています。私たちは、公共ドメインデータで訓練されたモデルによる有害な出力を減らすためのデータキュレーションパイプラインを提案します。公共ドメインデータを扱う際には独自の課題があり、これらのソースは形式や内容の両面でウェブテキストと異なります。多くのソースは歴史的文書であり、光学文字認識（OCR）の結果です。そのため、現在の最先端の有害性フィルタリング手法は、オープンデータモデルにはしばしば実現不可能であるか適切ではありません。本論文では、オープンデータの有害性フィルタリングのための新しい完全オープンソースパイプラインを紹介します。私たちの貢献は3つあります。まず、ToxicCommonsと呼ばれるカスタムトレーニングデータセットを作成しました。このデータセットは、5つの異なる次元（人種/出身、性別、宗教、能力に基づく差別、暴力）に分類されたテキストで構成されています。このデータセットを使用して、オープンデータ内の有害コンテンツをより効率的に大規模に検出できるカスタム分類器であるCeladonを訓練しました。最後に、トレーニング用に利用可能なフィルタリングされたデータに関して安全性フィルタリングを最適化するバランスの取れたアプローチについて説明します。

English

Open-source large language models are becoming increasingly available and popular among researchers and practitioners. While significant progress has been made on open-weight models, open training data is a practice yet to be adopted by the leading open-weight models creators. At the same time, there researchers are working to make language models safer. We propose a data curation pipeline to reduce harmful outputs by models trained on public domain data. There are unique challenges to working with public domain data, as these sources differ from web text in both form and content. Many sources are historical documents and are the result of Optical Character Recognition (OCR). Consequently, current state-of-the-art approaches to toxicity filtering are often infeasible or inappropriate for open data models. In this paper, we introduce a new fully open-source pipeline for open-data toxicity filtering. Our contributions are threefold. We create a custom training dataset, ToxicCommons, which is composed of texts which have been classified across five different dimensions (racial/origin-based, gender/sex-based, religious, ability-based discrimination, and violence). We use this dataset to train a custom classifier, Celadon, that can be used to detect toxic content in open data more efficiently at a larger scale. Finally, we describe the balanced approach to content filtration that optimizes safety filtering with respect to the filtered data available for training.