Tifone T1: Un Modello Thai di Ragionamento Aperto

Typhoon T1: An Open Thai Reasoning Model

February 13, 2025

Autori: Pittawat Taveekitworachai, Potsawee Manakul, Kasima Tharnpipitchai, Kunat Pipatanakul

cs.AI

Abstract

Questo articolo presenta Typhoon T1, un'iniziativa aperta per sviluppare un modello di ragionamento tailandese aperto. Un modello di ragionamento è un tipo relativamente nuovo di modello generativo costruito sopra grandi modelli linguistici (LLM). Un modello di ragionamento genera una lunga catena di pensiero prima di arrivare a una risposta finale, un approccio che si è dimostrato efficace per compiti complessi. Tuttavia, i dettagli sullo sviluppo di un tale modello sono limitati, specialmente per i modelli di ragionamento capaci di generare tracce in una lingua a bassa risorsa. Typhoon T1 presenta un'iniziativa aperta che approfondisce i dettagli dello sviluppo di un modello di ragionamento in modo più economico sfruttando il fine-tuning supervisionato utilizzando set di dati aperti, anziché il reinforcement learning. Questo articolo condivide i dettagli sulla generazione e l'addestramento di dati sintetici, nonché sul nostro set di dati e pesi del modello. Inoltre, forniamo approfondimenti acquisiti nello sviluppo di un modello di ragionamento che generalizza tra domini ed è in grado di generare tracce di ragionamento in una lingua a bassa risorsa, utilizzando il thailandese come esempio. Ci auguriamo che questa iniziativa aperta fornisca una base per ulteriori ricerche in questo campo.

English

This paper introduces Typhoon T1, an open effort to develop an open Thai reasoning model. A reasoning model is a relatively new type of generative model built on top of large language models (LLMs). A reasoning model generates a long chain of thought before arriving at a final answer, an approach found to improve performance on complex tasks. However, details on developing such a model are limited, especially for reasoning models that can generate traces in a low-resource language. Typhoon T1 presents an open effort that dives into the details of developing a reasoning model in a more cost-effective way by leveraging supervised fine-tuning using open datasets, instead of reinforcement learning. This paper shares the details about synthetic data generation and training, as well as our dataset and model weights. Additionally, we provide insights gained from developing a reasoning model that generalizes across domains and is capable of generating reasoning traces in a low-resource language, using Thai as an example. We hope this open effort provides a foundation for further research in this field.