Tifón T1: Un Modelo Tailandés de Razonamiento Abierto

Typhoon T1: An Open Thai Reasoning Model

February 13, 2025

Autores: Pittawat Taveekitworachai, Potsawee Manakul, Kasima Tharnpipitchai, Kunat Pipatanakul

cs.AI

Resumen

Este documento presenta Typhoon T1, un esfuerzo abierto para desarrollar un modelo tailandés de razonamiento abierto. Un modelo de razonamiento es un tipo relativamente nuevo de modelo generativo construido sobre modelos de lenguaje grandes (MLG). Un modelo de razonamiento genera una larga cadena de pensamiento antes de llegar a una respuesta final, un enfoque que se ha demostrado mejora el rendimiento en tareas complejas. Sin embargo, los detalles sobre el desarrollo de dicho modelo son limitados, especialmente para modelos de razonamiento que pueden generar trazas en un idioma con recursos limitados. Typhoon T1 presenta un esfuerzo abierto que profundiza en los detalles del desarrollo de un modelo de razonamiento de manera más rentable mediante el aprovechamiento del ajuste fino supervisado utilizando conjuntos de datos abiertos, en lugar del aprendizaje por refuerzo. Este documento comparte los detalles sobre la generación y entrenamiento de datos sintéticos, así como nuestro conjunto de datos y pesos del modelo. Además, proporcionamos ideas obtenidas del desarrollo de un modelo de razonamiento que se generaliza en diferentes dominios y es capaz de generar trazas de razonamiento en un idioma con recursos limitados, utilizando el tailandés como ejemplo. Esperamos que este esfuerzo abierto siente las bases para futuras investigaciones en este campo.

English

This paper introduces Typhoon T1, an open effort to develop an open Thai reasoning model. A reasoning model is a relatively new type of generative model built on top of large language models (LLMs). A reasoning model generates a long chain of thought before arriving at a final answer, an approach found to improve performance on complex tasks. However, details on developing such a model are limited, especially for reasoning models that can generate traces in a low-resource language. Typhoon T1 presents an open effort that dives into the details of developing a reasoning model in a more cost-effective way by leveraging supervised fine-tuning using open datasets, instead of reinforcement learning. This paper shares the details about synthetic data generation and training, as well as our dataset and model weights. Additionally, we provide insights gained from developing a reasoning model that generalizes across domains and is capable of generating reasoning traces in a low-resource language, using Thai as an example. We hope this open effort provides a foundation for further research in this field.