(digitaldaily written by GPT-3/non-human)

Berlin, die Hauptstadt Deutschlands, hat sich von ihrem zweigeteilten Status als osteuropäischer Vorposten im Osten und alternativ-anarchistischem Sehnsuchtsziel im Westen zu einer der faszinierendsten Hauptstädte Europas entwickelt. In den letzten Jahren hat sich die Stadt in vielerlei Hinsicht neu erfunden und entwickelt sich nun schnell zu einem der beliebtesten Reiseziele. Immer mehr Menschen fliegen nach Berlin und bleiben zum Teil wochenlang in der Stadt. Für die Generation U30 in aller Welt ist Berlin längst ein „place to be“.

(wh) Dieser Text ist von keinem Menschen geschrieben oder korrigiert worden. Wirkliche KI ist, wenn der Mensch nicht weiß, welches Ergebnis der Rechner liefern wird. Das hier ist wirkliche KI. (wh=written by humans)

GPT-3 meint: Berlin ist Europas faszinierendste Hauptstadt

Es wäre schon eine Untertreibung zu sagen, dass Berlin lediglich zu einem beliebten Ziel für Touristen aus aller Welt geworden ist. Die Stadt hat sich in den letzten zehn Jahren immer wieder neu erfunden und zieht nun zahlreiche Besucher aus aller Welt an. Dies hat dazu geführt, dass die Stadt zu einem der am schnellsten wachsenden Reiseziele in Europa geworden ist. Heute besuchen jedes Jahr Millionen von Menschen Berlin – was macht die Stadt so attraktiv? Die Antwort liegt in einer Vielzahl von Faktoren. Einer der größten Anziehungspunkte für Touristen ist die Geschichte der Stadt, das im Vergleich immer noch preiswerte Leben und die bunte Mischung aus Studentenvierteln, ausländisch geprägten Stadtteilen und großzügigen Villengegenden.

(wh) Natürlich kann das noch eleganter geschrieben werden. Aber für eine Software, die sich jede Information selbst im Internet gesucht hat? Ohne Anleitung? Ohne Regel? Not so bad.

Die Vergangenheit der Stadt ist einzigartig: Die Stadt hat im Ostteil unter der sowjetischen Besatzung und Isolierung gelitten und sich schließlich gegen das DDR-Regime aufgelehnt. Aber erst 1989 wurde auch Berlin endgültig eine freie Stadt. Die Geschichte Berlins umspannt Tausende von Jahren, und es gibt über 200 denkmalgeschützte Kulturdenkmäler, die die Menschen an die wechselvolle Vergangenheit erinnern. Berlin hat für jeden etwas zu bieten. Es gibt viele Möglichkeiten, wie Besucher ihre Zeit in Berlin genießen können, vom Einkaufen über Sightseeing bis hin zu kulturellen Veranstaltungen.

(wh) Der Auftrag an die Software lautete: Schreibe einen Einführungstext für Berlin-Interessierte im Ausland. Nicht zu viele Details.

(headline: wh) Woher kennt GPT-3 diese Geschäfte?

Wer einkaufen gehen möchte, kann das Modeviertel am Kurfürstendamm und Tauentzien-Straße besuchen, in dem sich große Einzelhändler wie H&M, Zara und Bershka befinden. Es gibt zahlreiche Einkaufszentren, aber auch eine große Zahl kleiner und kleiner Geschäfte und Boutiqen. Ernste Vergangenheit und lockere Shopping-Stimmung liegen eng beieinander: Der Prachtboulevard Unter den Linden endet am berühmten Holocaust-Mahnmal und vom öffentlich zugänglichen Bundestag im ehemaligen Reichstagsgebäude sind es im Sommer nur wenige Meter zu einem angesagten Beach-Club an der Spree. Ob die Besucher die Museumsinsel besuchen, die oft fotografierte East-Side-Gallery oder ein Konzert in einem der vielen Clubs und kulturellen Einrichtungen – es gibt kaum etwas, was es in Berlin nicht gibt.

(wh) GPT-3 ist der Beginn des Endes des menschlichen Schreibens

GPT-3 steht für Generative Pretrained Transformer Version 3 und ist ein Sequenztransduktionsmodell. Einfach gesagt ist die Sequenztransduktion eine Technik, die eine Eingabesequenz in eine Ausgabesequenz umwandelt. GPT-3 ist ein Sprachmodell, was bedeutet, dass es mit Hilfe der Sequenztransduktion die Wahrscheinlichkeit einer Ausgabesequenz anhand einer Eingabesequenz vorhersagen kann. Damit lässt sich beispielsweise vorhersagen, welches Wort in einer Textsequenz den meisten Sinn ergibt.

Zwei sehr einfache Beispiele für die Funktionsweise:

Eingabe: Es ist ein sonniger und heißer Sommertag, also plane ich…

Ausgabe: Es ist ein sonniger und heißer Sommertag, also plane ich, an den Strand zu gehen.

Aber auch dies ist schon möglich:

Eingabe: Eine Impfpflicht ist in Deutschland umstritten. Vor allem bei Kindern…

Ausgabe: Eine Impfpflicht ist in Deutschland umstritten. Vor allem bei Kindern, so berichtet die „Neue Osnabrücker Zeitung“, gibt es zu wenig Erkenntnisse über die Auswirkungen.

Woher kennt ein chinesisches Modell die „Neue Osnabrücker Zeitung“? 60.000 Datenquellen werden in weniger als 1 Sekunde durchsucht. GPT-3 basiert auf einer speziellen Architektur für neuronale Netze namens Transformer, die, einfach ausgedrückt, effektiver ist als andere Architekturen wie RNNs (Recurrent Neural Networks).  Transformer-Architekturen sind nicht wirklich neu, denn sie wurden vor 2 Jahren sehr populär, weil Google sie für ein anderes sehr bekanntes Sprachmodell, BERT, verwendete. Sie wurden auch in früheren Versionen von OpenAIs GPT verwendet.

Was ist also neu an GPT-3?

Seine Größe. Es ist ein wirklich großes Modell. Wie OpenAI mitteilt, verwendet GPT-3 175 Milliarden Parameter. Nur zum Vergleich: GPT-2 verwendete „nur“ 1,5 Milliarden Parameter. Wenn Größe die einzige Voraussetzung wäre, um menschenähnliche Intelligenz zu erreichen (das ist sie nicht), dann ist GPT-3 nur etwa 1000x zu klein. Wer ein eigenes Modell trainieren möchte braucht viel Zeit und viel Geld: Die enorme Rechenleistung die nötig ist kostet etwa 30 Dollar – pro Stunde.

Sprachmodelle sind „Few-Shot Learners“, OpenAI-Papier.

Unter Verwendung dieser massiven Architektur wurde GPT-3 auch mit riesigen Datensätzen trainiert, darunter der Common Crawl-Datensatz und die englischsprachige Wikipedia (die etwa 6 Millionen Artikel umfasst und nur 0,6 Prozent der Trainingsdaten ausmacht). Was GPT-3 wirklich von früheren Sprachmodellen wie BERT unterscheidet, ist die Tatsache, dass es dank seiner Architektur und seines massiven Trainings eine aufgabenunabhängige Leistung ohne Feinabstimmung erbringen kann. Und genau hier kommt die Magie ins Spiel. Seit seiner Veröffentlichung wurde GPT-3 in einem breiten Spektrum von Szenarien eingesetzt, und einige Entwickler haben bereits erstaunliche Anwendungsfälle entwickelt.

Bald werden immer mehr Informationsquellen von der Software abgerufen werden können (heute sind es rund 60.000 mit Relevanz für deutschsprachige Informationen). Hört sich viel an, ist es aber nicht). Dann werden auch sehr faktenreiche Berichte größter Aktualität möglich sein. Die neuen Informationsanbieter sitzen in den USA und China und es sind keine Medienunternehmen, sondern große Tech-Konzerne. Noch schützt die relative Komplexität der deutschen Sprache, die selbst Mark Twain als „fürchterlich“ bezeichnete, vor einer nicht mehr identifizierbaren Flut computererzeugter Inhalte, die sich analog zur Anzahl von Suchanfragen selbst schreiben. Spätestens mit GPT-4 ist das deutsche Grammatikproblem gelöst.

(Wolfgang Zehrt, digitaldaily)