Tufão T1: Um Modelo Tailandês Aberto de Raciocínio

Typhoon T1: An Open Thai Reasoning Model

February 13, 2025

Autores: Pittawat Taveekitworachai, Potsawee Manakul, Kasima Tharnpipitchai, Kunat Pipatanakul

cs.AI

Resumo

Este artigo apresenta o Typhoon T1, um esforço aberto para desenvolver um modelo tailandês de raciocínio aberto. Um modelo de raciocínio é um tipo relativamente novo de modelo generativo construído sobre grandes modelos de linguagem (LLMs). Um modelo de raciocínio gera uma longa cadeia de pensamento antes de chegar a uma resposta final, uma abordagem que se mostrou melhorar o desempenho em tarefas complexas. No entanto, os detalhes sobre o desenvolvimento de tal modelo são limitados, especialmente para modelos de raciocínio que podem gerar traços em um idioma com recursos limitados. O Typhoon T1 apresenta um esforço aberto que mergulha nos detalhes do desenvolvimento de um modelo de raciocínio de forma mais econômica, aproveitando o ajuste fino supervisionado usando conjuntos de dados abertos, em vez de aprendizado por reforço. Este artigo compartilha os detalhes sobre a geração e treinamento de dados sintéticos, bem como nosso conjunto de dados e pesos do modelo. Além disso, fornecemos insights obtidos com o desenvolvimento de um modelo de raciocínio que generaliza entre domínios e é capaz de gerar traços de raciocínio em um idioma com recursos limitados, utilizando o tailandês como exemplo. Esperamos que este esforço aberto forneça uma base para pesquisas futuras neste campo.

English

This paper introduces Typhoon T1, an open effort to develop an open Thai reasoning model. A reasoning model is a relatively new type of generative model built on top of large language models (LLMs). A reasoning model generates a long chain of thought before arriving at a final answer, an approach found to improve performance on complex tasks. However, details on developing such a model are limited, especially for reasoning models that can generate traces in a low-resource language. Typhoon T1 presents an open effort that dives into the details of developing a reasoning model in a more cost-effective way by leveraging supervised fine-tuning using open datasets, instead of reinforcement learning. This paper shares the details about synthetic data generation and training, as well as our dataset and model weights. Additionally, we provide insights gained from developing a reasoning model that generalizes across domains and is capable of generating reasoning traces in a low-resource language, using Thai as an example. We hope this open effort provides a foundation for further research in this field.