Der Konflikt der superintelligenten künstlichen Intelligenz mit der Menschheit ist ein beliebtes Thema der Massenkultur. Aber was passiert, wenn wir tatsächlich eine KI erstellen, die stärker ist als wir? Im Buch "Kompatibilität. Wie man künstliche Intelligenz steuert“(Verlag „Alpina Sachbuch“), ins Russische übersetzt von Natalia Kolpakova, erzählt KI-Forscher Stuart Russell, wo wir bereits künstliche Intelligenz einsetzen und wie man verhindern kann, dass sie außer Kontrolle gerät. N + 1 lädt seine Leser ein, eine Passage zu lesen, in der der Autor argumentiert, warum ein Mensch nach dem Wegfall technischer Restriktionen riskiert, der KI eine Aufgabe zu stellen, deren Umsetzung zur Tragödie wird – und was zu tun ist, um dies zu verhindern Das.
Das Problem von König Midas
Norbert Wiener, den wir in Kapitel 1 kennengelernt haben, hatte enormen Einfluss auf viele Bereiche, darunter KI-Theorie, Kognitionswissenschaft und Kontrolltheorie. Im Gegensatz zu den meisten seiner Zeitgenossen war er ernsthaft besorgt über die Unvorhersehbarkeit komplexer Systeme, die in der realen Welt funktionieren. (Er schrieb den ersten Artikel zu diesem Thema im Alter von zehn Jahren.) Wiener kam zu der Überzeugung, dass das ungerechtfertigte Vertrauen von Wissenschaftlern und Ingenieuren in ihre Fähigkeit, ihre eigenen Kreationen, ob militärische oder zivile, zu kontrollieren, katastrophal sein könnte.
1950 veröffentlichte Wiener Human Uses of Human Beings, dessen Titelanmerkung lautet: "Das mechanische Gehirn und ähnliche Maschinen können menschliche Werte zerstören oder uns ermöglichen, sie wie nie zuvor zu verwirklichen." Nach und nach verfeinerte er seine Ideen und erkannte 1960 das Hauptproblem - die Unmöglichkeit, den wahren Zweck einer Person richtig und erschöpfend zu bestimmen. Dies wiederum bedeutet, dass das oben erwähnte Standardmodell, bei dem Menschen versuchen, Maschinen mit eigenen Zielen auszustatten, zum Scheitern verurteilt ist.
Wir können diese Idee das "König-Midas-Problem" nennen. König Midas, eine Figur aus der antiken griechischen Mythologie, erhielt buchstäblich das, wonach er verlangte – nämlich dass alles, was er berührt, zu Gold wird. Er erkannte zu spät, dass dies auch für seine Speisen, Getränke und Familienmitglieder galt und verhungerte in völliger Verzweiflung. Dieses Thema ist in den Mythen der Menschheit allgegenwärtig. Wiener zitiert Auszüge aus Goethes Erzählung über einen Zauberlehrling, der die Pampelmuse verzauberte, indem er sie zum Laufen auf dem Wasser zwang, aber nicht sagte, wie viel Wasser er mitbringen sollte, und nicht wusste, wie die Pampelmuse aufhören sollte.
Wenn wir diesen Gedanken mit unserem Thema in Zusammenhang bringen, laufen wir Gefahr, bei der Werteangleichung zu scheitern – vielleicht unabsichtlich Maschinen Probleme zu geben, die unseren eigenen zuwiderlaufen. Bis vor kurzem waren wir durch die begrenzten Fähigkeiten intelligenter Maschinen und die Grenzen ihres Einflusses auf die Welt vor möglichen katastrophalen Folgen geschützt. (Tatsächlich wurde ein Großteil der Arbeit über KI an Modellproblemen in Forschungslabors geleistet.) Norbert Wiener weist in seinem 1964 erschienenen Buch God and the Golem darauf hin:
In der Vergangenheit war eine unvollständige und fehlerhafte Einschätzung menschlicher Absichten nur deshalb relativ harmlos, weil sie mit technischen Einschränkungen einherging, die eine genaue Quantifizierung dieser Absichten erschwerten. Dies ist nur eines von vielen Beispielen dafür, wie menschliche Impotenz uns bisher vor dem zerstörerischen Ansturm menschlicher Torheit bewahrt hat.
Leider neigt sich diese Schutzzeit schnell dem Ende zu.
Wir haben bereits gesehen, wie Algorithmen zur Auswahl von Inhalten in sozialen Medien zur Maximierung des Werberendites in der Gesellschaft verheerende Auswirkungen haben. Wenn Sie der Meinung sind, dass die Maximierung der Werberendite ein niedriges Ziel ist, das niemand sonst verfolgen wird, stellen wir uns vor, Sie haben sich für das superintelligente System der Zukunft ein hohes Ziel gesetzt, um ein Heilmittel für Krebs zu finden - idealerweise so schnell wie möglich, denn alle 3,5 Sekunden ein Mensch stirbt an Krebs. Innerhalb weniger Stunden las das KI-System die gesamte biomedizinische Literatur und betrachtete Millionen potenziell wirksamer, aber bisher ungetesteter chemischer Verbindungen. Über mehrere Wochen provozierte sie bei jedem Menschen auf der Welt die Entwicklung unterschiedlicher Tumorarten, um klinische Studien mit diesen Wirkstoffen durchzuführen, da dies der schnellste Weg zur Heilung ist. Bin angekommen!
Wer sich lieber mit Umweltfragen beschäftigt, kann das Auto bitten, die rasante Versauerung der Meere aufgrund ihres hohen Kohlendioxidgehalts zu bewältigen. Die Maschine entwickelt einen neuen Katalysator, der eine unglaublich schnelle chemische Reaktion zwischen Ozean und Atmosphäre auslöst und den Säuregehalt der Ozeane wiederherstellt. Leider verbraucht dieser Prozess ein Viertel des in der Atmosphäre enthaltenen Sauerstoffs, was uns zu einem langsamen, schmerzhaften Erstickungstod verurteilt. Wir sind wieder angekommen!
Solche apokalyptischen Szenarien sind sehr primitiv - vielleicht vom "Ende der Welt" und man sollte nichts anderes erwarten. In vielen Szenarien überkommt uns jedoch die geistige Erstickung „nach und nach und unmerklich“. Der Prolog von Life 3.0 von Max Tegmark beschreibt detailliert ein Szenario, in dem eine superintelligente Maschine nach und nach die wirtschaftliche und politische Macht über die ganze Welt übernimmt, während sie im Wesentlichen unentdeckt bleibt. Das Internet und die darauf basierenden Maschinen des globalen Handelns, die bereits täglich mit Milliarden von „Nutzern“interagieren, sind die ideale Umgebung, um die Macht der Maschinen über den Menschen zu erhöhen.
Ich gehe nicht davon aus, dass die Aufgabe, die solchen Maschinen zugewiesen wird, aus der Kategorie "Versklavung der Welt" fallen wird. Wahrscheinlicher ist es, den Gewinn oder das Engagement zu maximieren, vielleicht sogar ein scheinbar harmloses Ziel wie die Erhöhung der Metriken in regelmäßigen Bewertungen der Benutzerzufriedenheit oder die Reduzierung unseres Energieverbrauchs. Wenn wir außerdem der Meinung sind, dass unser Handeln darauf abzielt, unsere Ziele zu erreichen, gibt es zwei Möglichkeiten, unser Verhalten zu ändern. Erstens auf die gute alte Art - ohne die Erwartungen und Ziele zu ändern, die Umstände zu ändern, zum Beispiel indem wir Geld anbieten, eine Waffe auf uns richten oder uns aushungern. Dies ist ein teurer und schwieriger Weg für einen Computer. Der zweite Weg besteht darin, Erwartungen und Ziele zu ändern. Bei einem Auto ist es viel einfacher. Es geht darum, Sie jeden Tag über viele Stunden mit Ihnen in Kontakt zu halten, Ihren Zugang zu Informationen zu kontrollieren und einen wesentlichen Teil Ihrer Unterhaltung in Form von Spielen, Fernsehprogrammen, Filmen und sozialen Interaktionen bereitzustellen.
Reinforcement-Learning-Algorithmen, die Klicks in sozialen Medien optimieren, sind nicht in der Lage, menschliches Verhalten zu verstehen. Tatsächlich „wissen“sie nicht einmal im vernünftigen Sinne des Wortes, dass Menschen existieren. Für Maschinen, die menschliche Psychologie, Überzeugungen und Motivationen verstehen, wird es relativ einfach sein, uns auf eine Weise neu auszurichten, die die Erfüllung der Ziele der Maschine erhöht. Zum Beispiel kann es unseren Energieverbrauch reduzieren, indem es uns davon überzeugt, weniger Kinder zu haben, und sich allmählich – und unweigerlich – die Träume von Anti-Geburtsphilosophen erfüllen, die davon träumen, die schädlichen Auswirkungen der Menschheit auf die Natur vollständig zu beseitigen.
Mit ein wenig Übung werden Sie erkennen, wie das Erreichen eines mehr oder weniger festen Ziels zu willkürlichen unerwünschten Ergebnissen führen kann. Einer der typischen Wege besteht darin, einen Teil des Ziels zu verpassen, der Sie wirklich interessiert. In solchen Fällen - wie in den obigen Beispielen - findet das KI-System oft eine optimale Lösung, die auf die Spitze treibt, was Ihnen wichtig ist, aber Sie vergessen haben zu erwähnen. Sagen Sie zum Beispiel zu einem autonomen Auto: "Bring mich so schnell wie möglich zum Flughafen!" - und er wird es wörtlich nehmen, er wird auf 300 km / h beschleunigen und Sie befinden sich im Gefängnis. (Zum Glück nehmen Autos eine solche Anfrage derzeit nicht an.) Wenn du sagst "Bring mich so schnell wie möglich zum Flughafen, ohne das Tempolimit zu überschreiten", wird es extrem schnell beschleunigen und bremsen, um sich zwischendurch mit Höchstgeschwindigkeit fortzubewegen, sogar schieben Sie andere Autos zurück, um ein paar Sekunden in der Menge am Eingang zum Flughafenterminal zu gewinnen. Usw. Nach und nach fügen Sie genügend Vorbehalte hinzu, und die Bewegung des Autos entspricht ungefähr dem Verhalten eines erfahrenen Fahrers, der einen Passagier zum Flughafen bringt, der Angst hat, zu spät zu kommen.
Ein Fahrzeug zu fahren ist eine einfache Aufgabe mit nur lokalen Konsequenzen, und die heute dafür geschaffenen KI-Systeme sind nicht besonders intelligent. Daher sind viele potenzielle Ausfallmodi vorhersehbar, andere werden auf Autosimulatoren oder bei Testfahrten mit einer Gesamtlänge von Millionen von Kilometern mit professionellen Fahrern auftreten, die im Falle eines Ausfalls bereit sind, die Kontrolle zu übernehmen, und wieder andere werden erst später auftreten, wenn die autos sind schon auf den straßen und etwas passiert.. etliche abgehende.
Leider kann bei superintelligenten Systemen mit globaler Wirkung nichts modelliert oder dupliziert werden. Natürlich ist es für gewöhnliche Menschen sehr schwierig, vielleicht sogar unmöglich, alle destruktiven Wege, auf denen eine Maschine sich für ihr Ziel zu bewegen, im Voraus zu antizipieren und auszuschließen. Im Allgemeinen, wenn Sie ein Ziel haben und die superintelligente Maschine ein anderes hat, das Ihrem widerspricht, dann wird die Maschine bekommen, was sie will, Sie aber nicht.
