Das adaptive Geschwindigkeitsregelsystem Tesla Autopilot kann Punkte auf dem Asphalt falsch erkennen, für Fahrbahnmarkierungen nehmen und abbiegen, um eine nicht vorhandene Markierungslinie nicht zu überqueren, einschließlich des Einfahrens in die Gegenfahrbahn, sagen Forscher auf dem Gebiet der Informationssicherheit von das chinesische Unternehmen Tencent gefunden haben. Darüber hinaus konnten die Forscher den Scheibenwischer des Autos aktivieren, dessen Kamera spezielle Bilder anzeigen, sowie aus der Ferne auf den Bordcomputer zugreifen und die Drehung mit einem Gamecontroller steuern, sagen die Forscher dem Tencent Keen Security Lab Blog. Darüber hinaus veröffentlichten die Autoren einen Artikel über die Experimente.
Heutzutage verwenden viele Computer-Vision-Systeme neuronale Netzwerkalgorithmen, die eine hohe Genauigkeit bei der Erkennung von Objekten verschiedener Klassen zeigen. Die Verwendung neuronaler Netze für die Arbeit mit Bildern hat jedoch Nachteile, insbesondere achten viele Forscher auf diesem Gebiet auf die Anfälligkeit neuronaler Netze gegenüber gegnerischen Beispielen. Bei diesen Beispielen handelt es sich um Eingabedaten, die speziell so modifiziert wurden, dass das neuronale Netz das darauf befindliche Objekt fälschlicherweise erkennt. Die Besonderheit dieser Daten liegt auch darin, dass sie in der Regel für eine Person entweder praktisch nicht von normalen Daten zu unterscheiden sind oder umgekehrt - sie stellen eine chaotische Menge von Pixeln dar, in denen eine Person ein bestimmtes Bild nicht erkennen würde.
Ein anschauliches Beispiel für einen gegnerischen Angriff
Die Bedrohung durch kontradiktorische Beispiele mag recht gering erscheinen, insbesondere wenn man bedenkt, dass sie normalerweise unter begrenzten Bedingungen funktionieren. Dennoch halten viele Forscher diese Bedrohung für real und ernst, denn Computer-Vision-Algorithmen kommen in vielen Bereichen zum Einsatz, auch in verantwortungsvollen, wie zum Beispiel bei unbemannten Fahrzeugen für den Personentransport. Forscher des chinesischen Unternehmens Tencent testeten das automatisierte Fahrsystem von Tesla Autopilot auf seine Anfälligkeit gegenüber gegnerischen Beispielen und stellten fest, dass es sich unter bestimmten Bedingungen falsch verhält.
Die Experten wählten in ihrer Studie keinen Standardansatz, bei dem der Algorithmus modifizierte Daten in digitaler Form erhält, sondern entschieden sich dafür, die Situation näher an die Realität zu bringen und kontradiktorische Beispiele in der realen Welt zu schaffen, die das Auto dann durch die Kameras wahrnahm. Die Forscher verwendeten ein Tesla Model S 75 Fahrzeug mit Autopilot 2.5 Hardware und 2018.6.1 Software. Es ist erwähnenswert, dass das Autopilot-System in Tesla-Autos nicht vollständig autonom ist und erfordert, dass der Fahrer in schwierigen Situationen die Hände am Lenkrad behält und die Kontrolle abfängt, daher wird es normalerweise als autonomes Fahrsystem der zweiten Autonomiestufe eingestuft nach der SAE-Klassifizierung.
Die Autoren erzielten in ihrer Arbeit drei Hauptergebnisse. Der Hauptgrund ist die Täuschung des Markup-Erkennungssystems. Die Forscher führten zwei Arten von Experimenten durch und konnten die Algorithmen sowohl dazu zwingen, die vorhandene Markierungslinie nicht zu erkennen, als auch eine nicht vorhandene zu erkennen. Im ersten Fall fügten die Autoren weiße Flecken hinzu, die nicht gleichmäßig zur echten durchgezogenen Linie der Markierung beabstandet waren. In diesem Fall kann das Auto je nach Position der Aufkleber einen Teil des Streifens oder gar nicht sehen. Gleichzeitig stellen die Forscher fest, dass der Fahrer solche ungewöhnlichen Markierungen im wirklichen Leben kaum bemerkt hätte.
Ein Beispiel für das Erkennen einer nicht vorhandenen Layoutlinie
Das zweite Experiment zeigte eine gefährlichere Schwachstelle. Darin brachten die Forscher drei quadratische Aufkleber auf den Asphalt, die so aufgereiht waren, dass die virtuelle Linie diagonal entlang der aktuellen Fahrspur verläuft. Während des Experiments nahm der Fahrspurerkennungsalgorithmus diese Quadrate für eine Linie und bog unter Ignorierung des linken Fahrstreifens in den Gegenfahrstreifen ein.
Autoverhalten mit quadratischen Aufklebern auf dem Asphalt
Darüber hinaus zeigten die Autoren, dass gegnerische Bilder, die auf einem Monitor vor einem Auto angezeigt werden, dazu führen können, dass sich der Scheibenwischer einschaltet. Dieser Effekt ist darauf zurückzuführen, dass das Tesla Model S über eine Funktion verfügt, um Regen aus dem Kamerabild zu erkennen, und gegnerische Beispiele zwingen den Algorithmus dazu, solches Wetter in den Daten der Kamera zu erkennen. Die Autoren wiederholten dieses Experiment auch digital und modifizierten die Eingabedaten der Kamera ohne Verwendung eines externen Monitors. Schließlich zeigten die Autoren in einem kürzlich durchgeführten Experiment, wie Angreifer durch eine Schwachstelle in Teslas Software Zugriff auf den Lenkwinkel erhalten und ihn mithilfe eines Gamecontrollers steuern können. Bemerkenswert ist, dass diese Schwachstelle bereits in der aktuellen Version der Tesla-Fahrzeugsoftware behoben wurde.
Die Autoren stellen fest, dass Tesla auf die Ergebnisse ihrer Studie reagiert hat. Beim Einschalten der Wischerblätter gab das Unternehmen an, dass die Verwendung des Monitors direkt vor dem Auto kein realistisches und praktisch anwendbares Szenario sei. Ebenso reagierten die Spezialisten des Unternehmens auf den Vorwurf der falschen Spurerkennung, dass der Fahrer immer bereit sein müsse, das Autopilot-System mit dem Lenkrad oder dem Bremspedal zu übernehmen.
Zuvor hatten Tesla-Besitzer bereits Probleme mit der Erkennung von Markierungen durch das Autopilot-System. So reproduzierten Besitzer anderer Tesla-Fahrzeuge im vergangenen Jahr nach einem tödlichen Unfall mit einem Tesla Model X die Fehlfunktion des Autopilot-Systems, die von den Angehörigen der Verstorbenen gemeldet wurde. Ihre Experimente zeigten, dass das System in einigen Fällen eine teilweise gelöschte Fahrbahnlinie falsch interpretieren und das Auto in eine Schranke lenken kann.
