Typhoon T1: Een Open Thais Redeneermodel

Typhoon T1: An Open Thai Reasoning Model

February 13, 2025

Auteurs: Pittawat Taveekitworachai, Potsawee Manakul, Kasima Tharnpipitchai, Kunat Pipatanakul

cs.AI

Samenvatting

Dit artikel introduceert Typhoon T1, een open initiatief om een open Thais redeneringsmodel te ontwikkelen. Een redeneringsmodel is een relatief nieuw type generatief model gebouwd bovenop grote taalmodellen (LLM's). Een redeneringsmodel genereert een lange gedachtegang voordat het tot een definitief antwoord komt, een benadering die de prestaties op complexe taken verbetert. Echter, details over het ontwikkelen van zo'n model zijn beperkt, vooral voor redeneringsmodellen die sporen kunnen genereren in een taal met weinig bronnen. Typhoon T1 presenteert een open initiatief dat dieper ingaat op de details van het ontwikkelen van een redeneringsmodel op een meer kosteneffectieve manier door gebruik te maken van begeleid finetunen met behulp van open datasets, in plaats van versterkend leren. Dit artikel deelt de details over synthetische gegevensgeneratie en training, evenals onze dataset en modelgewichten. Daarnaast bieden we inzichten die zijn opgedaan bij het ontwikkelen van een redeneringsmodel dat generaliseert over domeinen en in staat is redeneringssporen te genereren in een taal met weinig bronnen, met Thais als voorbeeld. We hopen dat dit open initiatief een basis biedt voor verder onderzoek op dit gebied.

English

This paper introduces Typhoon T1, an open effort to develop an open Thai reasoning model. A reasoning model is a relatively new type of generative model built on top of large language models (LLMs). A reasoning model generates a long chain of thought before arriving at a final answer, an approach found to improve performance on complex tasks. However, details on developing such a model are limited, especially for reasoning models that can generate traces in a low-resource language. Typhoon T1 presents an open effort that dives into the details of developing a reasoning model in a more cost-effective way by leveraging supervised fine-tuning using open datasets, instead of reinforcement learning. This paper shares the details about synthetic data generation and training, as well as our dataset and model weights. Additionally, we provide insights gained from developing a reasoning model that generalizes across domains and is capable of generating reasoning traces in a low-resource language, using Thai as an example. We hope this open effort provides a foundation for further research in this field.