TF1-EN-3M: 小型オープン言語モデル向けトレーニング用300万の合成道徳寓話

TF1-EN-3M: Three Million Synthetic Moral Fables for Training Small, Open Language Models

April 29, 2025

著者: Mihai Nadas, Laura Diosan, Andrei Piscoran, Andreea Tomescu

cs.AI

要旨

道徳的な物語は、価値観を伝えるための時代を超えた手段であるが、現代の自然言語処理（NLP）では、首尾一貫した物語と明示的な倫理的教訓を結びつけた大規模で構造化されたコーパスが不足している。このギャップを埋めるために、我々はTF1-EN-3Mを提供する。これは、8Bパラメータ以下の指示調整モデルによって生成された300万件の英語の寓話からなる初のオープンデータセットである。各物語は、6つのスロット（キャラクター -> 特性 -> 設定 -> 葛藤 -> 解決 -> 教訓）に従っており、ジャンルの忠実性を保証しつつ広範なテーマ空間をカバーする組み合わせプロンプトエンジンを通じて生成される。 ハイブリッド評価パイプラインは、(i) 文法、創造性、道徳的明確性、テンプレートの遵守を評価するGPTベースの批評家と、(ii) 参照不要の多様性と読みやすさのメトリクスを組み合わせている。10のオープンウェイト候補の中でも、8BパラメータのLlama-3バリアントが品質と速度の最適なトレードオフを提供し、単一のコンシューマーGPU（<24 GB VRAM）で約13.5セント/1,000寓話のコストで高スコアの寓話を生成する。 我々は、データセット、生成コード、評価スクリプト、および完全なメタデータを寛容なライセンスの下で公開し、正確な再現性とコストベンチマークを可能にする。TF1-EN-3Mは、指示追従、物語知能、価値整合、子供向け教育AIの研究の道を開き、大規模な道徳的物語の生成がもはや専有の巨大モデルを必要としないことを示している。

English

Moral stories are a time-tested vehicle for transmitting values, yet modern NLP lacks a large, structured corpus that couples coherent narratives with explicit ethical lessons. We close this gap with TF1-EN-3M, the first open dataset of three million English-language fables generated exclusively by instruction-tuned models no larger than 8B parameters. Each story follows a six-slot scaffold (character -> trait -> setting -> conflict -> resolution -> moral), produced through a combinatorial prompt engine that guarantees genre fidelity while covering a broad thematic space. A hybrid evaluation pipeline blends (i) a GPT-based critic that scores grammar, creativity, moral clarity, and template adherence with (ii) reference-free diversity and readability metrics. Among ten open-weight candidates, an 8B-parameter Llama-3 variant delivers the best quality-speed trade-off, producing high-scoring fables on a single consumer GPU (<24 GB VRAM) at approximately 13.5 cents per 1,000 fables. We release the dataset, generation code, evaluation scripts, and full metadata under a permissive license, enabling exact reproducibility and cost benchmarking. TF1-EN-3M opens avenues for research in instruction following, narrative intelligence, value alignment, and child-friendly educational AI, demonstrating that large-scale moral storytelling no longer requires proprietary giant models.