Wer oder was ist GPT-3?

Die Entstehung von GPT-3

GPT-3 ist nicht plötzlich vom Himmel gefallen, sondern das Ergebnis langer Forschungsarbeit auf dem Gebiet der KI. Eine kurze Entstehungsgeschichte:

Die Firma hinter GPT-3, OpenAi, wird 2015 als Non-Profit Organisation gegründet, unter anderem mit Investments von Elon Musk und Peter Thiel. 2017 erfindet Google die Transformer-Architektur für Neuronale Netzwerke und legt damit den Grundstein für eine Revolution der Sprach-KIs. 2018 präsentiert OpenAI den ersten Generative Pre-Trained Transformer (GPT-1). Das Modell wurde mit 117 Millionen Parametern trainiert. Ein Jahr später stellte das Unternehmen bereits den Nachfolger GPT-2 vor. Dieser wurde bereits mit 1,5 Milliarden Parametern trainiert. Immer noch weit weg vom neuesten Modell GPT-3, das 2020 vorgestellt und mit unglaublichen 175 Milliarden Parametern trainiert wurde. Damals war es das größte Sprachmodell (Large Language Model), das bisher entwickelt wurde.

Seit der ersten Version von GPT hat sich an der grundlegenden Technologie nicht viel verändert. Die Datenmengen, mit denen der Transformer trainiert wurde, haben sich aber vervielfacht. GPT-3 ist viel genauer als seine Vorgänger und kann eine viel größere Zahl an Anfragen bearbeiten. Die Leistung des Modells steigt also mit der Menge an Trainingsdaten.

Weitere Infos zur Entstehung von GPT-3 finden Sie hier.

Wie funktioniert GPT-3?

GPT-3 basiert auf der von Google entwickelten Transformer-Architektur für Neuronale Netzwerke. GPT-3 verwendet Machine Learning, genauer gesagt Deep-Learning, um riesige Datenmengen interpretieren, adaptieren und verwenden zu können.

Ältere Sprachmodelle haben ein Wort nach dem anderen berechnet und generiert. So kann aus zusammenhängenden Wörtern ein kohärenter Satz geformt werden. Das Problem dabei ist aber, dass der Kontext über mehrere Sätze hinaus schnell verloren geht. Und bei der Generierung natürlicher Sprachen ist Kontext entscheidend. Dieses Problem bewältigen Transformer-Modelle wie GPT-3, indem sie einen sogenannten "Aufmerksamkeitsmechanismus" verwenden.

Das funktioniert so: Bei der Verarbeitung des Wortes "Fahne" würde das Programm besonders viel Aufmerksamkeit auf benachbarte Wörter wie "Alkohol", "Gestank", "Nation" oder "Staat" legen, um das Wort "Fahne" in den richtigen Kontext zu setzen. Das Programm merkt, dass es bei einem gewissen Wort stärker auf den Kontext achten muss. Denn jedem Wort wird, zusätzlich zu seinen semantischen Bedeutungen auch ein Kontext-Vektor zugeteilt. Zeigen die Kontext-Vektoren von zwei Wörtern in eine ähnliche Richtung, bekommen sie mehr Aufmerksamkeit. Diese Erklärung ist sehr rudimentär und spiegelt die Komplexität der tatsächlichen Funktionsweise nicht wider. Hier finden Sie die vollständige technische Erklärung. Wer sich noch intensiver mit der Thematik auseinandersetzen will, dem sei der Original-Artikel zur Technik hinter dem Aufmerksamkeitsmechanismus empfohlen.

Weitere Informationen zur Funktionsweise von GPT-3 finden Sie hier.

Wofür kann ich GPT-3 verwenden?

GPT 3 kann semantische Zusammenhänge erfassen und so natürliche Sprachen simulieren. Das Modell scheint uns zu verstehen und gibt sinnvolle Antworten auf verschiedenste Fragen. Es kann eigene Texte generieren und bestehende Texte je nach Wunsch verbessern oder komplizierte Passagen vereinfacht zusammenfassen. Das Modell kann Texte übersetzen, Prüfungsfragen beantworten oder Liebesbriefe schreiben. GPT-3 ist sehr sensibel im Verstehen von Kontext und kann daher sehr genaue Ausgaben liefern. Es kann sich in unterschiedlichen Stilen ausdrücken, formale Arztbriefe aufsetzen oder juristische Schreiben generieren. GPT-3 kann auch beim Programmieren helfen und ganze Webseiten erstellen.

Manche Unternehmen integrieren GPT-3 in ihre Produkte oder schaffen neue Anwendungen durch die Hilfe der KI. Die Firma "Viable" verwendet GPT-3, um Umfragen auszuwerten und die Wünsche ihrer Kunden und Kundinnen besser zu verstehen. "Fable Studio" verwendet GPT-3, um interaktive Geschichten zu erzählen und Charaktere lebendiger zu machen. Außerdem können auch private Entwickler Apps mit GPT-3 erstellen, um etwa Lösungen für einfacheres Programmieren zu finden. Weitere Infos zu den möglichen Einsatzgebieten von GPT-3 finden Sie hier.

Wie kann ich GPT-3 nutzen?

Um mit GPT-3 zu experimentieren und selbst Texte zu erstellen oder Aufsätze zu überarbeiten, muss man sich lediglich auf der Webseite von OpenAI mit einer E-Mail-Adresse anmelden. Sodann kann man gleich loslegen. Die bekannteste Anwendung ist wohl ChatGPT, mit dem durch ein simples Chat-Fenster interagiert werden kann. Mit einem sogenannten "Prompt" gibt man dem Programm einen Auftrag, etwa "schreibe ein Gedicht über eine fliegende Katze". Wenige Sekunden später erscheint im Chatfenster die Antwort. Je genauer die Anfrage formuliert wird, desto besser wird die Antwort.

Experimentierfreudige können auch den "Spielplatz" (Playground) von OpenAI nutzen und dort verschiedene Machine-Learning-Modelle ausprobieren und in Echtzeit zuschauen, wie das Programm arbeitet. Im "Playground" können KI-unterstütztes Programmieren ausprobiert oder auch eigene Bilderkennungsmodelle konfiguriert werden.

Wie viel kostet die Anwendung von GPT-3?

Mit ChatGPT gibt es nach wie vor eine kostenlose Variante von GPT-3. Allerdings kommt es oft zu überlasteten Servern und Wartezeiten. Um das zu umgehen, kann die Premiumversion ChatGPT PLUS für etwa 20 Euro im Monat abonniert werden. Mit der Premiumversion kann man auch auf die neueste Version des Transformers zugreifen: GPT-4.

Ob die Basisversion auch in Zukunft kostenlos bleiben wird, ist unklar. Für OpenAI belaufen sich die täglichen Kosten für den Betrieb von ChatGPT jedenfalls auf über 700.000 Dollar. Professionelle Nutzer:innen, die GPT in ihre eigenen Systeme integrieren wollen, bietet OpenAI eine detaillierte Auflistung der Kosten. Diese werden je nach Länge des Inputs und des Outputs berechnet und unterscheiden sich je nach Version.

Kann GPT-3 Deutsch?

Ja, GPT-3 wurde unter anderem mit Übersetzungen trainiert, um Zusammenhänge zwischen verschiedenen Sprachen zu verstehen. Dennoch ist der überwiegende Teil der Trainingsdaten Englisch und die Genauigkeit der Antworten daher auf Englisch deutlich höher.

Welche Gefahren birgt GPT-3?

Wie jedes Machine-Learning-Modell ist auch GPT-3 nur so gut wie die Daten, mit denen es trainiert wird. Haben die Trainingsdaten eine Tendenz, so wird sich diese Tendenz im Modell widerspiegeln. So können rassistische, sexistische oder ableistische Vorurteile in den Daten vorhanden sein, die dann von der Maschine übernommen werden.

Eine andere Gefahr ist laut einem auf "cambridge.org" veröffentlichten Bericht die missbräuchliche Verwendung von Sprach-KIs. GPT-3 wurde programmiert, um Texte zu generieren, die menschlich klingen. Daher ist es in der Lage, täuschend echte Aufsätze, Briefe oder andere Dokumente zu produzieren. Die Möglichkeiten für Betrug sind dadurch enorm. Die Gesetze zur Regulation von KI sind nicht fortgeschritten genug, um mit der rasanten Entwicklung der Technologie umzugehen. Wie wir als Gesellschaft mit diesen neuen Möglichkeiten und Gefahren umgehen, wird in den kommenden Jahren immer wichtiger werden.

Was ist GPT-3.5?

GPT-3.5 ist eine überarbeitete Version von GPT-3 und hat eine höhere Leistungsfähigkeit als der Vorgänger. GPT-3.5 wurde darauf spezialisiert, die Anforderungen von Kunden und Kundinnen besser zu erfüllen, und soll weniger diskriminierende oder potentiell verletzende Texte produzieren. Außerdem sind die Antworten länger und ausgereifter. Neben GPT-3.5 gibt es noch eine Reihe anderer GPT-Varianten, die unterschiedliche Schwerpunkte haben und andere Outputs liefern. Die genauen technischen Unterschiede der verschiedenen Modelle stellt OpenAI auf ihrer Webseite zur Verfügung.

Was ist GPT-4?

GPT-4 ist die neueste, noch leistungsfähigere Version des Transformer-Modells von OpenAI. Es kann noch subtilere Bedeutungen verstehen und deutlich kompliziertere Aufgaben lösen als alle Vorgänger-Modelle. Außerdem hat GPT-4 die Fähigkeit, auch Bilder und Videos zu verarbeiten und zu "verstehen". Während GPT-3 mit 175 Milliarden Parametern trainiert worden ist, ist die Menge der Trainingsdaten für GPT-4 nicht bekannt. Wahrscheinlich liegt sie aber jenseits der Billionenmarke. In der Premiumversion von ChatGPT kann bereits mit GPT-4 gearbeitet werden.

Welche Alternativen gibt es?

Es gibt eine Reihe von Transformatoren, die als Alternativen zu GPT-3 genutzt werden können, allerdings mit manchen Einschränkungen. Dazu gehören BLOOM von BigScience, GPT-JT, das von der ETH Zürich und der Standford University entwickelt wurde, oder das "Megatron-Turing Natural Language Generation", eine Kooperation von Microsoft und NVIDIA. Google hat mit BERT und LaMDA gleich zwei Sprachverarbeitungsprogramme im Rennen, die aber jeweils nur für spezifische Anwendungsbereiche geeignet sind. Unterm Strich gibt es kein Produkt, das so umfassend und leicht zugänglich ist wie GPT-3 und GPT-4. Aber die großen Tech-Giganten schlafen nicht. Es ist nur eine Frage der Zeit, bis jemandem der nächste große Wurf im Rennen um die leistungsfähigsten KIs gelingt.