Typhoon T1: Ein offenes thailändisches Reasoning-Modell

Typhoon T1: An Open Thai Reasoning Model

February 13, 2025

Autoren: Pittawat Taveekitworachai, Potsawee Manakul, Kasima Tharnpipitchai, Kunat Pipatanakul

cs.AI

Zusammenfassung

Dieses Paper stellt Typhoon T1 vor, einen offenen Versuch zur Entwicklung eines offenen thailändischen Schlussfolgerungsmodells. Ein Schlussfolgerungsmodell ist ein relativ neuer Typ eines generativen Modells, das auf großen Sprachmodellen (LLMs) aufbaut. Ein Schlussfolgerungsmodell generiert eine lange Gedankenkette, bevor es zu einer endgültigen Antwort gelangt, ein Ansatz, der sich als leistungssteigernd bei komplexen Aufgaben erwiesen hat. Allerdings sind die Details zur Entwicklung eines solchen Modells begrenzt, insbesondere für Schlussfolgerungsmodelle, die Spuren in einer ressourcenarmen Sprache generieren können. Typhoon T1 präsentiert einen offenen Versuch, der sich eingehend mit den Details der Entwicklung eines Schlussfolgerungsmodells auf eine kostengünstigere Weise befasst, indem er überwachtes Feintuning unter Verwendung offener Datensätze anstelle von Verstärkungslernen nutzt. Dieses Paper teilt die Details zur Generierung und Schulung synthetischer Daten sowie unseres Datensatzes und Modellgewichte mit. Darüber hinaus bieten wir Einblicke, die wir aus der Entwicklung eines Schlussfolgerungsmodells gewonnen haben, das über Domänen hinweg generalisiert und in der Lage ist, Schlussfolgerungsspuren in einer ressourcenarmen Sprache zu generieren, wobei Thailändisch als Beispiel dient. Wir hoffen, dass dieser offene Versuch eine Grundlage für weitere Forschung in diesem Bereich bietet.

English

This paper introduces Typhoon T1, an open effort to develop an open Thai reasoning model. A reasoning model is a relatively new type of generative model built on top of large language models (LLMs). A reasoning model generates a long chain of thought before arriving at a final answer, an approach found to improve performance on complex tasks. However, details on developing such a model are limited, especially for reasoning models that can generate traces in a low-resource language. Typhoon T1 presents an open effort that dives into the details of developing a reasoning model in a more cost-effective way by leveraging supervised fine-tuning using open datasets, instead of reinforcement learning. This paper shares the details about synthetic data generation and training, as well as our dataset and model weights. Additionally, we provide insights gained from developing a reasoning model that generalizes across domains and is capable of generating reasoning traces in a low-resource language, using Thai as an example. We hope this open effort provides a foundation for further research in this field.