Apertus: Ein vollständig offenes, transparentes und mehrsprachiges Sprachmodell

Im Juli haben EPFL, ETH Z¨¹rich und  CSCS bekanntgegeben, dass sie gemeinsam ein grosses Sprachmodell (Large Language Model, LLM) entwickeln. Nun ist dieses Modell verf¨¹gbar. Es dient als Grundlage, auf der Entwickler:innen und Organisationen k¨¹nftige Anwendungen ¨C wie Chatbots, ?bersetzungssysteme oder digitale Lernwerkzeuge ¨C aufbauen k?nnen.

Der Name des Modells ist Apertus ¨C lateinisch f¨¹r offen. Er betont ein wesentliches Merkmal des Modells: Der gesamte Entwicklungsprozess, einschliesslich Architektur, Modellgewichten sowie Trainingsdaten und -methoden, ist frei zug?nglich und umfassend dokumentiert.

F¨¹r KI-Forschende, Fachpersonen und erfahrene Anwender:innen ist das Modell entweder ¨¹ber die strategische Partnerin Swisscom zug?nglich oder sie k?nnen es ¨¹ber die Plattform Hugging Face ¨C eine Plattform f¨¹r KI-Modelle und -Anwendungen ¨C herunterladen und f¨¹r eigene Projekte einsetzen.

Apertus steht in zwei frei verf¨¹gbaren Modellgr?ssen bereit ¨C mit 8 Milliarden sowie mit 70 Milliarden Parametern. Die kleinere Variante eignet sich besonders f¨¹r eine individuelle Nutzung. Beide Modelle werden unter einer permissiven, das heisst nutzungsfreundlichen Open-Source-Lizenz ver?ffentlicht. Diese l?sst einen Gebrauch in Bildung und Forschung ebenso zu wie breite gesellschaftliche und wirtschaftliche Anwendungen.

Ein vollst?ndig offenes LLM

Als vollst?ndig offenes Sprachmodell erm?glicht es Apertus Forschenden, Fachpersonen und erfahrenen Anwender:innen, dass sie auf dem Modell aufbauen, es an ihre individuellen Bed¨¹rfnisse anpassen sowie jeden Teil des Trainingsprozesses transparent nachvollziehen k?nnen. Damit unterscheidet sich Apertus deutlich von Modellen, bei denen nur ausgew?hlte Komponenten zug?nglich sind.

?Mit dieser Ver?ffentlichung m?chten wir ein Musterbeispiel daf¨¹r geben, wie sich ein vertrauensw¨¹rdiges, souver?nes und inklusives KI-Modell bauen l?sst?, sagt Martin Jaggi, Professor f¨¹r Maschinelles Lernen an der EPFL und Mitglied des Steering Committees der Swiss AI Initiative. Das Modell wird regelm?ssig vom Entwicklungsteam aktualisiert, dem spezialisierte Ingenieur:innen sowie zahlreiche Forschende von CSCS, ETH Z¨¹rich und EPFL angeh?ren.

Impulsgeber f¨¹r Innovationen

Mit ihrem offenen Ansatz betreten EPFL, ETH Z¨¹rich und CSCS Neuland. ?Apertus ist kein klassischer Technologietransfer von der Forschung zum Produkt. Vielmehr verstehen wir das Modell als Impulsgeber f¨¹r Innovationen und als Mittel zum Ausbau der KI-Expertise in Forschung, Gesellschaft und Wirtschaft?, sagt Thomas Schulthess, Direktor des CSCS und Professor an der ETH Z¨¹rich. Ihrer Tradition folgend stellen EPFL, ETH Z¨¹rich und CSCS Basis-Technologie und Infrastruktur bereit, um Innovationen in der Wirtschaft zu erm?glichen.

Apertus wurde auf 15 Billionen Worteinheiten (engl. Tokens) aus ¨¹ber 1000 Sprachen trainiert ¨C 40 Prozent der Daten sind nicht-englischsprachig . Damit umfasst Apertus zahlreiche Sprachen, die in bisherigen LLMs untervertreten sind, darunter Schweizerdeutsch, R?toromanisch und viele andere.

?Apertus wurde als Beitrag zum Gemeinwohl entwickelt. Es geh?rt zu den wenigen vollst?ndig offenen LLMs in dieser Gr?ssenordnung und ist das erste seiner Art, das Mehrsprachigkeit, Transparenz und Compliance als grundlegende Designprinzipien vereint?, sagt Imanol Schlag, technischer Leiter des LLM-Projekts und Research Scientist an der ETH Z¨¹rich.

?Swisscom ist stolz darauf, zu den ersten zu geh?ren, die dieses wegweisende Sprachmodell einsetzen ¨C auf unserer souver?nen Swiss AI Platform. Als strategische Partnerin der Swiss AI Initiative unterst¨¹tzen wir den Zugang zu Apertus w?hrend der Swiss-AI-Weeks. Damit unterstreichen wir unser Engagement f¨¹r ein sicheres und verantwortungsvolles KI-?kosystem, das dem Gemeinwohl dient und die digitale Souver?nit?t der Schweiz st?rkt?, sagt Daniel Dobos, Research Director bei Swisscom.

Zug?nglichkeit von Apertus

Die Einrichtung von Apertus gestaltet sich f¨¹r Fachpersonen und versierte Nutzer:innen unkompliziert. F¨¹r den praktischen Einsatz sind jedoch zus?tzliche Komponenten wie Server, Cloud-Infrastruktur oder spezifische Benutzeroberfl?chen erforderlich. Die bevorstehenden Hackathons im Rahmen der Swiss-AI-Weeks bieten Entwickler:innen erstmals die Gelegenheit, Apertus praktisch auszuprobieren, seine Leistungsf?higkeit zu testen und Feedback f¨¹r die Weiterentwicklung zuk¨¹nftiger Versionen zu geben.

Swisscom stellt den Hackathon-Teilnehmenden eine speziell entwickelte Schnittstelle zur Verf¨¹gung, die das Arbeiten mit dem Modell erleichtert. Ab sofort haben Gesch?ftskunden von Swisscom Zugriff auf das Apertus-Modell ¨¹ber die souver?ne Swiss AI Platform von Swisscom.

F¨¹r Personen ausserhalb der Schweiz wird Apertus ausserdem ¨¹ber die Public AI Inference Utility  zug?nglich sein ¨C als Teil einer globalen Bewegung f¨¹r ?ffentliche KI.

?Derzeit ist Apertus das f¨¹hrende ?ffentliche KI-Modell: ein Modell, entwickelt von ?ffentlichen Institutionen im Dienste des Gemeinwohls. Es ist der bislang st?rkste Beweis daf¨¹r, dass K¨¹nstliche Intelligenz eine ?ffentliche Infrastruktur sein kann ¨C wie Autobahnen, Wasserleitungen oder Stromnetze?, sagt Joshua Tan, Hauptverantwortlicher der Public AI Inference Utility.

Transparenz und Compliance

Apertus setzt ganz auf Transparenz ¨C um die Reproduzierbarkeit des Trainingsprozesses zu gew?hrleisten. Neben dem Modell selbst hat das Forschungsteam verschiedene Unterlagen ver?ffentlicht: eine umfassende Dokumentation, den Quellcode des Trainingsprozesses sowie der verwendeten Datens?tze, die Modellgewichte inklusive der Zwischenst?nde des Trainingsprozesses (sogenannter ?Intermediate Checkpoints?) ¨C und alles unter einer permissiven, nutzungsfreundlichen Open-Source-Lizenz, die auch kommerzielle Nutzung erlaubt. Die Nutzungsbedingungen sind auf Hugging Face abrufbar.

Die Entwicklung von Apertus erfolgte unter Ber¨¹cksichtigung der Schweizer Datenschutzgesetze, des Schweizer Urheberrechts und der Transparenzanforderungen der EU KI-Verordnung (EU AI Act). Ein besonderes Augenmerk wurde auf Datenintegrit?t und ethische Standards gelegt: Das Trainingskorpus beruht ausschliesslich auf Daten, die ?ffentlich zug?nglich sind. Diese wurden gefiltert, um maschinenlesbare Opt-out-Hinweise von Websites ¨C auch r¨¹ckwirkend ¨C zu respektieren sowie personenbezogene Daten zu entfernen und andere unerw¨¹nschte Inhalte vor Beginn des Trainings auszuschliessen.

Am Anfang einer langen Reise

?Apertus zeigt, dass generative KI sowohl leistungsf?hig als auch offen sein kann?, sagt Antoine Bosselut, Professor und Leiter des Natural Language Processing Laboratory der EPFL und Co-Leiter der Swiss AI Initiative. ?Die Ver?ffentlichung von Apertus ist kein Endpunkt, sondern der Beginn einer Reise ¨C ein langfristiges Engagement f¨¹r offene, vertrauensw¨¹rdige und souver?ne KI-Grundlagen f¨¹r das weltweite Gemeinwohl. Wir freuen uns darauf zu sehen, wie Entwickler:innen beim Hackathon der Swiss-AI-Weeks mit dem Modell arbeiten. Ihre Kreativit?t und ihr Feedback helfen uns dabei, zuk¨¹nftige Versionen des Modells zu verbessern.? 

Zuk¨¹nftige Versionen sollen die Modellfamilie erweitern, die Effizienz steigern und spezifische Anpassungen f¨¹r Fachbereiche wie Recht, Gesundheit oder Bildung erm?glichen. Sie sollen auch neue Funktionen integrieren und zugleich die hohen Anforderungen an die Transparenz wahren.