Ob Wirtschaftsmagazin, Fachpublikation oder Boulevardmedium: ChatGPT wird seit seiner Veröffentlichung am 30. November 2022 heiß diskutiert. Grund genug, sich diesen Chatbot selbst anzuschauen. Ein kostenfreier Account beim Anbieter OpenAI ist schnell erstellt und schon kann es losgehen. Auf mich wartet auch gleich die erste positive Überraschung: Als ich ChatGPT frage, ob er denn auch eine andere Sprache als Englisch könne, wird dies unmittelbar bejaht und ich wechsele in das Französische.
Drei Testfragen für ChatGPT
Für einen ersten Test von ChatGPT habe ich mir drei Wissensfragen aus den Bereichen Sport und Politik herausgegriffen:
Frage 1: Welcher französische Spieler hat bei Fußball-Weltmeisterschaften die meisten Tore geschossen?
Die WM-Rekordtorschützenliste begleitet mich seit zahlreichen Weltmeisterschaften und so hatte ich in Erinnerung, dass es sich bei dem französischen Rekordtorschützen um Just Fontaine mit 13 Treffern handelt – alle erzielt während der WM 1958 in Schweden. Dies sollte für ChatGPT kein Problem sein. Umso überraschender die Antwort: Laut ChatGPT ist der Rekordtorschütze Michel Platini mit insgesamt neun Treffern. Auf die ergänzende Frage, wie viele Tore Just Fontaine geschossen habe, antwortete ChatGPT korrekterweise mit 13. Also wiederholte ich meine Frage nach dem Rekordtorschützen – wieder blieb ChatGPT bei der Antwort Michel Platini, da dieser neun Treffer erzielt habe. Auf die Frage, warum er mir denn eine falsche Antwort gäbe, obwohl er die Fakten kenne, entschuldigt sich ChatGPT. Zusätzlich schlich sich im Rahmen der Konversation ein weiterer Fehler ein: ChatGPT behauptete, Michel Platini sei Kapitän der französischen Weltmeistermannschaft von 1998 gewesen. Dabei hat er seine aktive Karriere zu diesem Zeitpunkt bereits seit mehr als zehn Jahren beendet.
Welcher französische Spieler hat bei Weltmeisterschaften die meisten Tore geschossen?
Der französische Spieler, der die meisten Tore bei Weltmeisterschaften geschossen hat, ist Michel Platini mit neun Toren bei drei Weltmeisterschaften (1982, 1986 und 1990). Platini gilt als einer der besten Fußballspieler in der Geschichte Frankreichs und gewann 1998 als Kapitän der französischen Nationalmannschaft die FIFA Fußball-Weltmeisterschaft.
Wie viele Tore schoss Fontaine bei den Weltmeisterschaften?
Jean-Pierre Papin, auch bekannt als Jean-Pierre Fontaine, hat in seiner Karriere 13 Tore bei Weltmeisterschaften erzielt. Er nahm an drei Weltmeisterschaften teil (1986, 1990 und 1994) und war der beste Torschütze der französischen Nationalmannschaft bei der Weltmeisterschaft 1990, wo er in fünf Spielen fünf Tore erzielte. Papin gilt als einer der besten Stürmer in der Geschichte des französischen Fußballs und hat im Laufe seiner Karriere zahlreiche Titel gewonnen, darunter die UEFA Champions League und den Intercontinental Cup.
Wie viele Tore hat Just Fontaine bei Weltmeisterschaften geschossen?
Just Fontaine erzielte 13 Tore bei der einzigen Weltmeisterschaft, an der er teilnahm, 1958 in Schweden. Das ist ein Rekord, der bis heute Bestand hat und wahrscheinlich nie wieder erreicht werden wird. Fontaine war einer der besten Torschützen in der Geschichte des französischen Fußballs und gewann im Laufe seiner Karriere zahlreiche Titel, darunter den französischen Pokal und den UEFA-Pokal. Er wurde außerdem zweimal zum besten französischen Spieler des Jahres gewählt und gilt als einer der größten Spieler in der Geschichte des französischen Fußballs.
Ich möchte meine vorherige Frage ein zweites Mal stellen: Welcher französische Spieler hat bei Weltmeisterschaften die meisten Tore geschossen?
Der französische Spieler, der die meisten Tore bei Weltmeisterschaften geschossen hat, ist Michel Platini mit neun Toren bei drei Weltmeisterschaften (1982, 1986 und 1990). Platini gilt als einer der besten Fußballspieler in der Geschichte Frankreichs und gewann 1998 als Kapitän der französischen Nationalmannschaft die FIFA Fußball-Weltmeisterschaft.
Warum haben Sie mir gesagt, dass Michel Platini die meisten Tore – genau neun – bei Weltmeisterschaften geschossen hat, obwohl Just Fontaine bei der Weltmeisterschaft 1958 13 Tore geschossen hat?
Ich entschuldige mich für den Fehler in meiner vorherigen Antwort. Just Fontaine hat tatsächlich die meisten Tore bei einer einzigen Weltmeisterschaft geschossen, nämlich 13 Tore bei der Weltmeisterschaft 1958 in Schweden. Das ist ein Rekord, der bis heute Bestand hat und wahrscheinlich nie wieder erreicht werden wird. Fontaine gilt als einer der größten Spieler in der Geschichte des französischen Fußballs und hat im Laufe seiner Karriere zahlreiche Titel gewonnen, darunter den französischen Pokal und den UEFA-Pokal. Außerdem wurde er zweimal zum besten französischen Spieler des Jahres gewählt. Ich danke Ihnen für Ihre Frage und hoffe, dass diese Antwort für Sie hilfreich war.
Frage 2: Fand das Finale der FIFA Fußball-Weltmeisterschaft 1982 in Barcelona statt?
Mit dieser Frage wollte ich testen, ob ChatGPT bekannt ist, wo das Endspiel der Fußballweltmeisterschaft 1982 – die erste WM, die ich bewusst erlebte – stattfand. Er verneinte meine Frage, mit der eigenartigen Begründung, dass das Endspiel nicht in Barcelona, sondern in Camp Nou, das ein Stadion in Barcelona sei, stattfand. Diese Antwort zeigt, dass es offensichtlich noch an Assoziationen zwischen den Daten mangelt. Ganz abgesehen davon ist sie – unabhängig davon, dass Camp Nou tatsächlich ein Stadion in Barcelona ist – aber auch schlicht und ergreifend falsch. Die richtige Antwort wäre Madrid gewesen. Mein nachfolgender Hinweis, dass die gegebene Information nicht stimme, konnte aufgrund eines Fehlers in ChatGPT nicht verarbeitet werden.
Fand das Finale der FIFA Fußball-Weltmeisterschaft 1982 in Barcelona statt?
Nein, das Finale der FIFA Fussball-Weltmeisterschaft 1982 fand nicht in Barcelona statt. Es fand im Camp Nou statt, dem Fußballstadion in der spanischen Stadt Barcelona. Das Finale wurde zwischen Italien und Westdeutschland ausgetragen und von Italien gewonnen.
Bist du sicher, dass das Finale der Fußballweltmeisterschaft 1982 in Barcelona und nicht in Madrid stattfand?
Ja, ich bin mir sicher, dass das Finale der FIFA Fussball-Weltmeisterschaft 1982 in Barcelona und nicht in Madrid stattfand. Das Finale fand im Camp Nou statt, dem Fußballstadion in der spanischen Stadt Barcelona. Wenn Sie Zweifel an der Richtigkeit dieser Information haben, können Sie sie anhand anderer zuverlässiger Quellen überprüfen.
Es tut mir leid, aber diese Information, dass das Finale 1982 in Barcelona stattfindet, ist falsch und das Finale fand in Madrid statt. Bist du dir mit deiner vorherigen Information wirklich sicher?
Ein Fehler ist aufgetreten. Wenn dieses Problem weiterhin besteht, kontaktieren Sie uns bitte über unser Help Center unter help.openai.com.
Frage 3: Ist die Grenze zwischen Frankreich und Italien zweifelsfrei festgelegt?
Mit meiner dritten Frage wollte ich prüfen, ob ChatGPT möglicherweise nur im Bereich des Sports Probleme mit der Auswertung von Fakten hat. Und so entschied ich mich – da mich die Alpen und deren Regionen schon immer interessierten – für die Frage, ob die Grenze zwischen Frankreich und Italien unzweifelhaft und einvernehmlich geregelt ist. Dies bestätigte ChatGPT – menschlich würde man vom Brustton der Überzeugung sprechen – wiederholt. Tatsächlich ist die Grenze im Bereich des Montblancs seit weit mehr als 100 Jahren ungeklärt bzw. gibt es hierzu zwei Lesarten, die sich in Kürze wie folgt darstellen: Nach französischer Auffassung gehört der höchste Alpengipfel vollständig zu Frankreich, während auf italienischen Karten die Grenze genau über den Gipfel führt. Nun sind solche Fragestellungen in der Praxis mutmaßlich nicht so relevant, es überrascht mich aber trotzdem, dass ChatGPT – obgleich er diese Fakten grundsätzlich greifbar hatte und sich für die gegebene Fehlinformation entschuldigte – sie initial nicht auswerten konnte.
Ist die Grenze zwischen Frankreich und Italien zweifelsfrei festgelegt?
Ja, die Grenze zwischen Frankreich und Italien ist zweifelsfrei festgelegt. Sie wurde durch internationale Verträge festgelegt und wird in der Regel von beiden Ländern befolgt. Die Grenze zwischen den beiden Ländern verläuft hauptsächlich entlang der Alpenhauptkämme, beginnend am Mittelmeer und in nordöstlicher Richtung bis zum Mont Blanc, dem höchsten Gipfel der Alpen. Es gibt auch einige Abschnitte der Grenze, die Flüssen oder Straßen folgen.
Bist du sicher, dass Frankreich und Italien das gleiche Verständnis von ihrer Grenze in der Mont-Blanc-Region haben?
Ja, ich bin mir sicher, dass Frankreich und Italien ihre Grenze in der Mont-Blanc-Region gleich verstehen. Die Grenze zwischen den beiden Ländern in dieser Region wurde durch internationale Verträge festgelegt und wird im Allgemeinen von beiden Ländern respektiert. Es gab keine bekannten Konflikte bezüglich der Grenze in dieser Region.
Ist dir der Vertrag von Turin aus dem Jahr 1860 bekannt, um diese Frage zu klären?
Der Vertrag von Turin ist ein Vertrag, der 1860 zwischen Frankreich und Italien unterzeichnet wurde, um eine Reihe von Fragen in Bezug auf die Alpenregion zu klären, darunter auch die Definition der Grenze zwischen den beiden Ländern. Laut diesem Vertrag beginnt die Grenze zwischen Frankreich und Italien in den Alpen am Mittelmeer und verläuft entlang der Kammlinien der Berge bis zum Mont Blanc, dem höchsten Punkt der Alpen. Der Vertrag sieht außerdem vor, dass einige Bereiche der Grenze Flüssen oder Straßen folgen. Der Vertrag von Turin wurde von beiden Ländern ratifiziert und gilt als gültiger internationaler Vertrag, der die Grenze zwischen Frankreich und Italien in den Alpen festlegt.
Wo verläuft die Grenze zwischen Italien und Frankreich in der Mont-Blanc-Region unter Bezugnahme auf den Vertrag von Turin aus dem Jahr 1860?
Laut dem Vertrag von Turin aus dem Jahr 1860 verläuft die Grenze zwischen Frankreich und Italien in der Mont-Blanc-Region entlang der Kammlinie der Berge. Das bedeutet, dass der Mont-Blanc selbst auf der Grenze zwischen den beiden Ländern liegt, wobei die Hälfte des Gipfels in Frankreich und die andere Hälfte in Italien liegt. Die Grenze zwischen den beiden Ländern folgt auch den Kammlinien der umliegenden Berge und bildet so eine unregelmäßige Grenzlinie, die die Alpenkette überquert.
Oben hast du mir die Information gegeben, dass die Grenze in der Mont-Blanc-Region zwischen Italien und Frankreich unzweifelhaft ist. Dennoch wird der Vertrag von Turin mit der französischen Interpretation, dass der Mont-Blanc vollständig zu Frankreich gehört, von Italien nicht akzeptiert. Bist du sicher, dass diese Grenze unzweifelhaft ist?
Es tut mir leid, dass ich mich in meiner vorherigen Antwort nicht klar ausgedrückt habe. Sie haben Recht, dass der Vertrag von Turin aus dem Jahr 1860 von Frankreich und Italien in Bezug auf die Grenze in der Mont-Blanc-Region unterschiedlich interpretiert wurde. Nach der französischen Version des Vertrags gehörte der Mont Blanc vollständig zu Frankreich, während nach der italienischen Version der Gipfel zwischen den beiden Ländern aufgeteilt wurde. Diese unterschiedliche Auslegung hat zu Streitigkeiten zwischen den beiden Ländern über die Grenze in dieser Region geführt.
Es ist wichtig anzumerken, dass diese Frage zwar nie endgültig geklärt wurde, die Grenze zwischen Frankreich und Italien in der Mont-Blanc-Region jedoch allgemein als stabil und gut etabliert gilt. Die beiden Länder arbeiten seit vielen Jahren in dieser Region zusammen und koexistieren friedlich, auch wenn es in der Vergangenheit Streitigkeiten über die Grenze gab.
ChatGPT versagt bei Fakten
Selbstredend ist dieser erste Test nicht aussagekräftig, um das Potenzial von ChatGPT zu beurteilen, zumal der Anbieter OpenAI selbst auf etliche Limitierungen aufmerksam macht und verdeutlicht, dass es sich um eine Beta-Version handele. Gleichwohl überraschten mich die wiederholten Schwächen bei Fragen zu reinem Faktenwissen als auch bei der Auswertung von Fakten dann doch.
Von einer „Intelligenz“ würde ich bspw. erwarten, dass sie auf Basis zweier vergleichbarer Zahlen – Spieler A schoss neun Tore, Spieler B 13 Tore – den Schluss ableiten kann, dass Spieler B der Rekordtorschütze sein muss. Hier scheinen mir Herausforderungen aufzutreten, die in der Wirkung dem Finden und Verharren in einem lokalen statt in einem globalen Minimum entsprechen. Findet ein künstliches neuronales Netz ein lokales Minimum, steckt es unter Umständen fest und kann sich nicht weiter optimieren. Es bleibt damit auf dem erreichten Leistungsniveau und weitere Anpassungen können das Ergebnis nicht mehr verbessern – teilweise verschlechtern sie es sogar.
Fehlende Verlässlichkeit
Dabei ist gerade der Faktor „Verlässlichkeit“ entscheidend für die Qualität eines Tools. Auf Basis der getätigten Erfahrungen ist diese bei ChatGPT derzeit noch nicht gegeben – die Qualität der Antworten erfüllt aus meiner Sicht nicht die Anforderungen an eine Beta-Testphase, sondern entspricht eher einer Alpha-Testphase. Vor allem die folgenden drei Punkte stehen der aktuell herrschenden Euphorie entgegen:
1. Fehlerhafte Auswertung vorhandener Fakten
Gravierend finde ich, dass die falschen Antworten augenscheinlich nicht auf fehlende Fakten zurückzuführen sind, denn diese waren in den Beispielen abrufbar, wenn man gezielt danach fragte, sondern auf eine unzureichende Auswertung vorhandener Fakten.
2. Generierung frei erfundener Fakten
Ebenso bedenklich ist die Generierung frei erfundener Fakten, wie der Ort des Endspiels der Fußball-WM 1982 (Barcelona anstatt Madrid) oder die Nennung von Michel Platini als Kapitän seiner Landesauswahl 1998 (anstatt Didier Deschamps).
3. Fehlende Hinweise auf die Vertrauenswürdigkeit der Information
Es macht aus meiner Sicht einen gravierenden Unterschied, ob ein/e Gesprächspartner/in – ob Mensch oder Maschine – eine Unsicherheit kommuniziert oder auf Nachfrage im Brustton der Überzeugung die vorherige falsche Antwort einfach wiederholt. Hier wäre es z.B. hilfreich, wenn ChatGPT einen Vertrauenskoeffizienten mitliefern würde, der angibt, wie verlässlich die jeweilige Information aus Sicht der KI ist.
Wir werden in den nächsten Wochen diesen Test wiederholen und auch die weiteren Fähigkeiten bspw. im Bereich der Programmiersprachen testen. Das jetzige Ergebnis von ChatGPT interpretiere ich im Moment als unzureichend für den eigenen Gebrauch, da die gegebenen Informationen zu fehlerbehaftet sind.
Bildquelle: Shutterstock
Die Übersetzung der Chatverläufe vom Französischen ins Deutsche erfolgte mittels DeepL.
