Ein Sprachmodell im Dienste der Gesellschaft

Diese Woche trafen sich in Genf rund 50 f¨¹hrende globale Initiativen und Organisationen, die sich f¨¹r offene LLMs und vertrauensw¨¹rdige KI einsetzen, am International Open-Source LLM Builders Summit. Die von den KI-Zentren der EPFL und der ETH Z¨¹rich ausgerichtete Veranstaltung war ein wichtiger Schritt zum Aufbau eines dynamischen und kollaborativen internationalen ?kosystems f¨¹r offene Basismodelle. Offene Sprachmodelle (LLMs) werden zunehmend als vertrauensw¨¹rdige Alternative zu kommerziellen Systemen erachtet, von denen die meisten in den USA oder China in nicht-nachvollziehbaren Prozessen entwickelt werden.

Die Teilnehmenden des Gipfels erhielten einen Ausblick auf die bevorstehende Ver?ffentlichung eines vollst?ndig offenen und in transparenten Prozessen entwickelten LLM. Entwickelt haben es Forschende der EPFL, der ETH Z¨¹rich und anderer Schweizer Universit?ten in enger Zusammenarbeit mit Ingenieurinnen und Ingenieuren des CSCS. Nach letzten Tests, die aktuell stattfinden, wird es m?glich sein, das Modell unter einer Open-Source Lizenz herunterzuladen. Das Modell richtet den Fokus auf Transparenz, mehrsprachige Performance und breite Zug?nglichkeit.

Das Modell wird vollst?ndig offen sein: Quellcode und Gewichte werden ?ffentlich verf¨¹gbar sein, und die Trainingsdaten werden transparent und reproduzierbar sein. Diese Offenheit unterst¨¹tzt die Verbreitung und Anwendung in Wissenschaft und Bildung sowie im ?ffentlichen und privaten Bereich. Dieser Ansatz soll sowohl die Innovation als auch das Vertrauen in KI f?rdern.

?V?llig offene Modelle erm?glichen Anwendungen, die ein hohes Mass an Vertrauensw¨¹rdigkeit gew?hrleisten, und sie sind notwendig, um die Forschung zu den Risiken und Chancen der KI voranzutreiben. Transparente Prozesse erm?glichen auch die Einhaltung der Rechtsvorschriften?, sagt Imanol Schlag, Forscher am ETH AI Center, der das LLM-Projekt zusammen mit Antoine Bosselut und Martin Jaggi, Professoren der EPFL und Mitglieder des EPFL AI Center leitet.

Von Grund auf mehrsprachig

Ein charakteristisches Merkmal dieses LLM ist, dass es ¨¹ber 1000 Sprachen beherrscht. ?Wir haben von Anfang an Wert darauf gelegt, dass die Modelle konsequent mehrsprachig sind?, sagt Antoine Bosselut.

Das Basismodell wurde mit einem grossen Textdatensatz von ¨¹ber 1500 Sprachen trainiert ¨C etwa 60 Prozent waren Englisch und 40 Prozent andere Sprachen ¨C hinzukamen Code- und Mathematikdaten. Da Inhalte aus allen Sprachen und Kulturen vertreten sind, punktet das resultierende Modell mit einer hohen globalen Anwendbarkeit.

Konzipiert f¨¹r Gr?sse und Inklusion

Das Modell wird in zwei Gr?ssen ¨C mit 8 Milliarden und mit 70 Milliarden Parametern ¨C ver?ffentlicht werden und damit die Bed¨¹rfnisse eines breiten Spektrums an Nutzer:innen erf¨¹llen. Die gr?ssere Version wird zu den leistungsst?rksten, vollst?ndig offenen Modellen weltweit geh?ren. Die Anzahl der Parameter spiegelt dabei die F?higkeit eines Modells wider, zu lernen und komplexe Antworten zu erzeugen.

Das Modell erreicht eine hohe Zuverl?ssigkeit, da es mit mehr als 15 Billionen qualitativ hochwertiger Trainingstoken trainiert wird (das sind Einheiten, die jeweils ein Wort oder einen Wortteil repr?sentieren): Dieses Vorgehen erm?glicht ein robustes Sprachverst?ndnis und vielseitige Anwendungsf?lle.

Verantwortungsvoller Umgang mit Daten

Bei der Entwicklung des LLM werden die schweizerischen Datenschutzgesetze, das schweizerische Urheberrecht und die Transparenzverpflichtungen im Rahmen der KI-Verordnung der EU (EU AI Act) ber¨¹cksichtigt. In einer externe Seite aktuellen Studie haben die Projektleitenden nachgewiesen, dass es f¨¹r die meisten allt?glichen Aufgaben und den allgemeinen Wissenserwerb praktisch keine Leistungseinbussen mit sich bringt, wenn bei der Datengewinnung die sogenannten Opt-outs f¨¹r Web-Crawling respektiert werden ¡ª und damit gewisse Web-Inhalte nicht eingelesen werden.

Supercomputer als Wegbereiter f¨¹r unabh?ngige KI

Das Modell wird auf dem Supercomputer ?Alps? des Swiss National Supercomputing Centre CSCS in Lugano trainiert, einer der weltweit fortschrittlichsten KI-Plattformen, die mit ¨¹ber 10 000 NVIDIA Grace Hopper Superchips ausgestattet ist. Dank der Gr?sse und der Architektur des Systems war es m?glich, das Modell effizient zu 100 Prozent mit klimaneutralem Strom zu trainieren.

Die erfolgreiche Realisierung von ?Alps? wurde wesentlich durch die seit ¨¹ber 15 Jahren bestehende Zusammenarbeit mit den Technologieunternehmen NVIDIA und HPE/Cray erleichtert. Diese Partnerschaft hat entscheidend dazu beigetragen, die technischen M?glichkeiten von ?Alps? zu entwickeln und sicherzustellen, dass er die hohen Anforderungen grosser KI-Workloads erf¨¹llt, einschliesslich des Pre-Trainings komplexer LLMs.

?Das Trainieren dieses Modells ist nur dank unserer strategischen Investition in ?Alps? m?glich, einen speziell f¨¹r KI konzipierten Supercomputer?, sagt Thomas Schulthess, Direktor des CSCS und Professor an der ETH Z¨¹rich. ?Unsere langfristige Zusammenarbeit mit NVIDIA und HPE ist ein Beispiel daf¨¹r, wie gemeinsame Anstrengungen von ?ffentlichen Forschungseinrichtungen und branchenf¨¹hrenden Unternehmen eine unabh?ngige Infrastruktur vorantreiben und offene Innovation f?rdern k?nnen ¨C nicht nur f¨¹r die Schweiz, sondern f¨¹r Wissenschaft und Gesellschaft weltweit.?

?ffentlicher Zugang und globale Wiederverwendung

Das LLM wird in diesem Sp?tsommer unter der Apache-2.0-Lizenz ver?ffentlicht. Die Modellarchitektur, die Trainingsmethoden und die Nutzungsrichtlinien werden in einer begleitenden Dokumentation ausf¨¹hrlich beschrieben, um eine transparente Wiederverwendung und Weiterentwicklung zu erm?glichen. ?Als Wissenschaftler:innen von ?ffentlichen Institutionen wollen wir offene Modelle voranbringen und damit Organisationen bef?higen, auf diesen Modellen ihre eigenen Anwendungen aufzubauen?, sagt Antoine Bosselut.

?Dadurch, dass wir auf volle Offenheit setzen, w?hrend kommerzielle Modelle hinter verschlossenen T¨¹ren entwickelt werden, wird unser Ansatz ¨¹ber multinationale Kooperationen, wie wir hoffen, die Innovation in der Schweiz und in ganz Europa vorantreiben. Ausserdem ist dies ein wichtiger Faktor, um Spitzentalente zu gewinnen und zu f?rdern?, sagt EPFL-Professor Martin Jaggi.