Apertus: Demokratisierung offener und konformer LLMs für globale Sprachumgebungen
Apertus: Democratizing Open and Compliant LLMs for Global Language Environments
September 17, 2025
papers.authors: Alejandro Hernández-Cano, Alexander Hägele, Allen Hao Huang, Angelika Romanou, Antoni-Joan Solergibert, Barna Pasztor, Bettina Messmer, Dhia Garbaya, Eduard Frank Ďurech, Ido Hakimi, Juan García Giraldo, Mete Ismayilzada, Negar Foroutan, Skander Moalla, Tiancheng Chen, Vinko Sabolčec, Yixuan Xu, Michael Aerni, Badr AlKhamissi, Ines Altemir Marinas, Mohammad Hossein Amani, Matin Ansaripour, Ilia Badanin, Harold Benoit, Emanuela Boros, Nicholas Browning, Fabian Bösch, Maximilian Böther, Niklas Canova, Camille Challier, Clement Charmillot, Jonathan Coles, Jan Deriu, Arnout Devos, Lukas Drescher, Daniil Dzenhaliou, Maud Ehrmann, Dongyang Fan, Simin Fan, Silin Gao, Miguel Gila, María Grandury, Diba Hashemi, Alexander Hoyle, Jiaming Jiang, Mark Klein, Andrei Kucharavy, Anastasiia Kucherenko, Frederike Lübeck, Roman Machacek, Theofilos Manitaras, Andreas Marfurt, Kyle Matoba, Simon Matrenok, Henrique Mendoncça, Fawzi Roberto Mohamed, Syrielle Montariol, Luca Mouchel, Sven Najem-Meyer, Jingwei Ni, Gennaro Oliva, Matteo Pagliardini, Elia Palme, Andrei Panferov, Léo Paoletti, Marco Passerini, Ivan Pavlov, Auguste Poiroux, Kaustubh Ponkshe, Nathan Ranchin, Javi Rando, Mathieu Sauser, Jakhongir Saydaliev, Muhammad Ali Sayfiddinov, Marian Schneider, Stefano Schuppli, Marco Scialanga, Andrei Semenov, Kumar Shridhar, Raghav Singhal, Anna Sotnikova, Alexander Sternfeld, Ayush Kumar Tarun, Paul Teiletche, Jannis Vamvas, Xiaozhe Yao, Hao Zhao Alexander Ilic, Ana Klimovic, Andreas Krause, Caglar Gulcehre, David Rosenthal, Elliott Ash, Florian Tramèr, Joost VandeVondele, Livio Veraldi, Martin Rajman, Thomas Schulthess, Torsten Hoefler, Antoine Bosselut, Martin Jaggi, Imanol Schlag
cs.AI
papers.abstract
Wir stellen Apertus vor, eine vollständig offene Suite von Large Language Models (LLMs), die entwickelt wurde, um zwei systemische Schwächen im heutigen Ökosystem offener Modelle zu adressieren: Datenkonformität und mehrsprachige Repräsentation. Im Gegensatz zu vielen früheren Modellen, die Gewichte ohne reproduzierbare Datenpipelines oder Rücksicht auf die Rechte der Inhaltsinhaber veröffentlichen, werden die Apertus-Modelle ausschließlich auf offen verfügbaren Daten vortrainiert, wobei retrospektiv robots.txt-Ausschlüsse berücksichtigt und nicht genehmigte, toxische sowie personenbezogene Inhalte gefiltert werden. Um die Risiken der Memorisierung zu mindern, verwenden wir während des Vortrainings das Goldfish-Objektiv, das die wörtliche Wiedergabe von Daten stark unterdrückt, während die Leistung bei nachgelagerten Aufgaben erhalten bleibt. Die Apertus-Modelle erweitern auch die mehrsprachige Abdeckung, indem sie auf 15T Tokens aus über 1800 Sprachen trainiert werden, wobei etwa 40 % der Vortrainingsdaten nicht-englischen Inhalten zugewiesen werden. Mit Veröffentlichungen in den Größenordnungen 8B und 70B erreicht Apertus nahezu state-of-the-art Ergebnisse unter vollständig offenen Modellen in mehrsprachigen Benchmarks und übertrifft oder erreicht die Leistung von Modellen mit offenen Gewichten. Neben den Modellgewichten veröffentlichen wir alle wissenschaftlichen Artefakte aus unserem Entwicklungszyklus unter einer freizügigen Lizenz, einschließlich Datenvorbereitungsskripten, Checkpoints, Evaluationssuites und Trainingscode, um transparente Überprüfung und Erweiterung zu ermöglichen.
English
We present Apertus, a fully open suite of large language models (LLMs)
designed to address two systemic shortcomings in today's open model ecosystem:
data compliance and multilingual representation. Unlike many prior models that
release weights without reproducible data pipelines or regard for content-owner
rights, Apertus models are pretrained exclusively on openly available data,
retroactively respecting robots.txt exclusions and filtering for
non-permissive, toxic, and personally identifiable content. To mitigate risks
of memorization, we adopt the Goldfish objective during pretraining, strongly
suppressing verbatim recall of data while retaining downstream task
performance. The Apertus models also expand multilingual coverage, training on
15T tokens from over 1800 languages, with ~40% of pretraining data allocated to
non-English content. Released at 8B and 70B scales, Apertus approaches
state-of-the-art results among fully open models on multilingual benchmarks,
rivalling or surpassing open-weight counterparts. Beyond model weights, we
release all scientific artifacts from our development cycle with a permissive
license, including data preparation scripts, checkpoints, evaluation suites,
and training code, enabling transparent audit and extension.