Letzten Freitag haben wir Sie über die Kontroverse informiert, die um GPT-2, künstliche Intelligenz mit der Fähigkeit dazu, entstanden ist Fake-News-Texte selbst schreibenso weit, dass seine Entwickler (OpenAI, eine von Elon Musk geförderte Entität) angekündigt hatten, die Vollversion davon aus Angst vor „Missbrauch“ nicht zu veröffentlichen.

Ein Beispiel für diesen möglichen Missbrauch ist das in diesem Video enthaltene Beispiel des britischen Mediums The Guardian, in dem wir sehen, wie aus wenigen, von einem Menschen geschriebenen Textzeilen die KI nicht nur fähig ist einen glaubwürdigen und aussagekräftigen Langtext erstellensondern auch menschliche Quellen zu erfinden, um die Informationen zu unterstützen.

Abgesehen von dieser Zusammenfassung gibt es jedoch noch viele Zweifel zu lösen rund um GPT-2: Wie revolutionär ist die OpenAI-Ankündigung? Ist es so gefährlich, wie es uns erahnen lässt?

Was steckt hinter GPT-2?

Ein bisschen Kontext

GPT-2 ist nur der neueste Meilenstein im Bereich NLP (Verarbeitung natürlicher Sprache), ein Bereich, in dem sich künstliche Intelligenz mit Linguistik vermischt, um die Wechselwirkungen zwischen Technologie und menschlicher Sprache zu untersuchen.

NLP begann als Disziplin nach der schüchternen Einführung des maschinellen Lernens in den 80er Jahren und hat im gegenwärtigen Jahrzehnt mit der Einführung der Worteinbettung eine große Beschleunigung erfahren.

Diese Technik besteht darin, Wörter in einem n-dimensionalen Vektor abzubilden (denken Sie daran, dass neuronale Netze Sie arbeiten nur mit Zahlen), ausgehend von der Prämisse, dass ihre räumliche Nähe eine Art Beziehung zwischen ihnen mit sich bringt. Sehen wir uns ein Beispiel an:

Sprachmodelle

Dies ermöglicht dem neuronalen Netz, die Semantik von Wörtern zu verstehen, aber es ist am Ende kein präzises System, wenn es darum geht, die Beziehungen zwischen ihnen zu „verstehen“.. Aus diesem Grund ist in den letzten zwei Jahren eine weiterentwickelte NLP-Technik entstanden, die wir als „Sprachmodelle“ kennen.

Das Sprachmodelle Kurz gesagt handelt es sich um maschinelle Lernmodelle, die entwickelt wurden, um auf der Grundlage aller vorherigen Wörter vorherzusagen, was das nächste Wort in einem Text sein sollte.

Das große Potenzial dieser Technik besteht darin, dass es, sobald die KI die Struktur einer Sprache versteht, relativ einfach ist, diese vortrainierten Modelle herunterzuladen (GPT steht für „Generative Pre-Training“) durch „Feintuning“ an andere Aufgaben als die Texterstellung anpassenwie die Erstellung von Zusammenfassungen und Übersetzungen.

GPT-1 bis GPT-2

GPT-1, das 2018 veröffentlicht wurde, basierte auf einem Sprachmodell namens Transformer, das Google im Vorjahr entwickelt hatte (Google stützte sich auch auf GPT-1, um Google BERT zu entwickeln).

Y GPT-2 ist kaum mehr als eine zehnmal größere Version des Vorgängermodells (in der Anzahl der Parameter 1500 Millionen; und für das Training verwendetes Datenvolumen; 45 Millionen Webseiten mit einem Gewicht von 40 GB).

Eine der Besonderheiten von GPT-2 ist, dass es sich bewährt hat in der Lage, Übersetzungen und Zusammenfassungen vorzunehmen und sogar Fragen zum Text zu beantworten ohne dass ein Feinabstimmungsprozess erforderlich ist, sondern Sie einfach mit dem Text, den wir Ihnen zur Verfügung stellen, verstehen lassen, was Sie uns antworten sollen.

Wie ist das möglich? Konzentrieren wir uns beispielsweise auf die Aufgabe des Zusammenfassens: Es ist üblich, dass Websites in englischer Sprache (und denken Sie daran, diese KI wurde mit Millionen von ihnen trainiert) lange Texte enthalten, die am Ende zeigen, der Ausdruck „TL; DR“ (englisches Akronym für ‚Too long, I have’t read it‘) und eine kurze Zusammenfassung des betreffenden Textes.

Daher sollten Forscher nur GPT-2-Langtexte füttern, die auf „TL; DR“ et voilà !, die KI nimmt an, was als nächstes passieren soll ist eine Zusammenfassung der vorherigen Absätze.

Können wir sicher sein, dass GPT-2 so gefährlich ist, wie sie behaupten?

Die bisher durchgeführten GPT-2-Demonstrationen (wie das obige Brexit-Video) sind ein Beispiel dafür große ‚Beherrschung‘ der Sprache, die man zeigen kann. Hier ist ein weiteres Beispiel, eine Geschichte über die Entdeckung von Einhörnern in Südamerika:

Hier ist ein lächerliches Ergebnis aus dem @OpenAI GPT-2-Papier (Tabelle 13), das untergehen könnte – das Modell ergibt einen ganzen, kohärenten Nachrichtenartikel über SPRECHENDE EINHÖRNER, wenn nur 2 Sätze Kontext gegeben werden.

QUE??!! pic.twitter.com/G8UtQpefyZ

– Ryan Lowe (@ryan_t_lowe) 14. Februar 2019

Obwohl, Achtung: GPT-2 ist nicht perfekt. In der Geschichte des vorherigen Tweets entgeht ihm ein Hinweis auf die „vier Hörner“ von Einhörnern, und Open AI räumt ein, dass er gelegentlich auch über „Unterwasserbrände“ geschrieben hat.

Eigentlich war dieses Modell in der Lage, in „etwa 50 % der Fälle“ überzeugende Texte zu produzierenwenn sie nach populären Themen (wie Brexit oder Miley Cyrus) gefragt wurde, aber ihre Wirksamkeit wurde reduziert, wenn sie „hochtechnische“ Inhalte ansprach.

Diese Zahl war jedoch hoch genug für OpenAI-Forscher, um darauf zu schließen das Beste, was sie tun können, ist, dieses Sprachmodell nicht zu veröffentlichen.

Jack Clark, Policy Director bei OpenAI, erklärt, dass das Problem nicht nur darin besteht, dass damit sehr überzeugende „Fake News“ generiert werden können (dafür ist keine KI erforderlich), aber dadurch würde es seine Automatisierung und Optimierung erleichternbasierend auf demografischen Faktoren, für bestimmte soziale Sektoren (und sogar auf individueller Ebene):

„Es ist sehr klar, dass, wenn diese Technologie ausgereift ist, und ich würde ihr ein oder zwei Jahre geben, sie für Desinformation oder Propaganda verwendet werden könnte.“

Anima Anandkumar, Nvidia-Forschungsleiterin, heftig kritisiert Die Ankündigung von OpenAI auf Twitter, den GPT-2-Code nicht zu veröffentlichen.

Was Sie tun, ist das komplette Gegenteil von „offen“. Es ist bedauerlich, dass Sie übertreiben, Angst verbreiten und sowohl die Reproduzierbarkeit der Ergebnisse als auch den wissenschaftlichen Aufwand stören.

Es gibt laufende Forschung von anderen Gruppen (von Forschern) zu unüberwachten Sprachmodellen.

Du übertreibst wie nie zuvor. Was für ein Blödsinn ist das „bösartig“? Sie tun der Wissenschaft keinen Gefallen, wenn Sie dieses Wort verwenden.

Der Fortschritt in der KI ist zum größten Teil auf Open Source und Open Publishing zurückzuführen.

Konfrontiert mit Jack Clarks Rechtfertigungen, dass GPT-2 offensichtlich böswillige Verwendungen hat, antwortet Anandkumar wie folgt:

„Wo gibt es Beweise dafür, dass Ihr System dazu in der Lage ist? Welche unabhängigen Forscher haben ihre Systeme analysiert? Niemand. […]

Wenn Sie glauben, dass es dazu wirklich in der Lage ist, werden Sie es für Forscher öffnen, nicht für die Medien, die eifrig nach Clickbait suchen.