Тайфун T1: открытая тайская модель рассуждений

Typhoon T1: An Open Thai Reasoning Model

February 13, 2025

Авторы: Pittawat Taveekitworachai, Potsawee Manakul, Kasima Tharnpipitchai, Kunat Pipatanakul

cs.AI

Аннотация

Эта статья представляет Typhoon T1, открытое усилие по разработке открытой тайской модели рассуждений. Модель рассуждений - это относительно новый тип генеративной модели, построенный на основе крупных языковых моделей (LLM). Модель рассуждений генерирует длинную цепочку мыслей перед получением окончательного ответа, подход, который улучшает производительность на сложных задачах. Однако детали разработки такой модели ограничены, особенно для моделей рассуждений, способных генерировать следы на языке с ограниченными ресурсами. Typhoon T1 представляет открытое усилие, которое углубляется в детали разработки модели рассуждений более экономичным способом, используя надзорное дообучение на открытых наборах данных, вместо обучения с подкреплением. В этой статье мы делимся деталями о генерации синтетических данных и обучении, а также нашими наборами данных и весами модели. Кроме того, мы предоставляем исследовательские выводы, полученные при разработке модели рассуждений, которая обобщается на различные области и способна генерировать следы рассуждений на языке с ограниченными ресурсами, используя тайский язык в качестве примера. Мы надеемся, что это открытое усилие создаст основу для дальнейших исследований в этой области.

English

This paper introduces Typhoon T1, an open effort to develop an open Thai reasoning model. A reasoning model is a relatively new type of generative model built on top of large language models (LLMs). A reasoning model generates a long chain of thought before arriving at a final answer, an approach found to improve performance on complex tasks. However, details on developing such a model are limited, especially for reasoning models that can generate traces in a low-resource language. Typhoon T1 presents an open effort that dives into the details of developing a reasoning model in a more cost-effective way by leveraging supervised fine-tuning using open datasets, instead of reinforcement learning. This paper shares the details about synthetic data generation and training, as well as our dataset and model weights. Additionally, we provide insights gained from developing a reasoning model that generalizes across domains and is capable of generating reasoning traces in a low-resource language, using Thai as an example. We hope this open effort provides a foundation for further research in this field.