Russische Programmierer haben eine Plattform für das verteilte Lernen großer neuronaler Netze entwickelt. Es ist für ein Netzwerk mit vielen Computern unterschiedlicher Leistung geeignet, von denen jeder den Prozess jederzeit beenden kann. Wie bei verteilten wissenschaftlichen Rechenprojekten wie Folding @ home entsteht bei diesem Ansatz mit Hilfe vieler Freiwilliger ein Netzwerk mit einer Rechenleistung, die mit der von fortschrittlichen Supercomputern vergleichbar ist. Die Entwickler beschrieben die Plattform in einem auf arXiv.org verfügbaren Preprint und veröffentlichten auch den Code der Pre-Alpha-Version auf GitHub.
Die Effizienz neuronaler Netzmodelle hängt stark von ihrer Größe und der Größe der Trainingsstichprobe ab. Zum Beispiel hat das zum Zeitpunkt dieses Schreibens führende Verarbeitungsmodell für natürliche Sprache - GPT-3 - 175 Milliarden Parameter und wurde mit 570 Gigabyte Text trainiert. Eine Ausbildung dieser Größenordnung erfordert jedoch eine ausreichende Rechenleistung, die aufgrund ihrer hohen Kosten für Forschungsgruppen, die nicht zu großen IT-Unternehmen gehören, oft nicht zugänglich ist.
In vielen Bereichen der Wissenschaft gibt es verteilte Rechenprojekte, die dieses Problem mit Hilfe von Freiwilligen lösen: Jeder, der Zugang zum Internet hat, kann ein Programm installieren, das im Hintergrund die Berechnungen durchführt, die die Wissenschaftler benötigen. Zusammen stellen Tausende oder sogar Millionen Computer Wissenschaftlern kostenlos ein Rechennetzwerk mit der Leistung führender Supercomputer zur Verfügung: Im Jahr 2020 überschritt die Leistungsfähigkeit des biomolekularen Simulationsnetzwerks Folding @ home den Meilenstein eines Exaflops und wuchs weiter. Verteilte Computernetzwerke haben jedoch Nachteile: Jeder Computer kann sich jederzeit abschalten oder Daten langsam und instabil übertragen, und außerdem lassen sich nicht alle Arten von Berechnungen gleich leicht in Teilaufgaben zur Verteilung auf separate Rechenknoten aufteilen.
Maksim Riabinin von der Higher School of Economics und Yandex haben zusammen mit seinem Kollegen Anton Gusev die [email protected] entwickelt, die es ermöglicht, das Training neuronaler Netzmodelle auf mehrere Computer zu verteilen. Die Plattform basiert auf der Methode eines Expertenteams, bei dem bestimmte „Experten“– separate Algorithmen oder Computer – für die Verarbeitung unterschiedlicher Eingabedaten verantwortlich sind. Die Entwickler schlugen vor, die Schichten des trainierten neuronalen Netzes in eine Gruppe von Experten aufzuteilen. Jeder der Experten kann seine eigene Spezialisierung haben, beispielsweise als Teil eines neuronalen Netzes eines Faltungs- oder anderen Typs agieren.
Netzwerkdiagramm
Ein Netzwerk von Computern zum Trainieren oder Ausführen von neuronalen Netzwerkalgorithmen hat eine dezentralisierte Struktur, und jeder seiner Rechenknoten besteht aus drei Teilen: einer Ausführungsumgebung, einem Steuerteil und einem DHT-Knoten. Für die Berechnungen ist die Laufzeitumgebung direkt verantwortlich, d. h. sie agiert als Experte. Der Kontrollteil nimmt die eingehenden Daten entgegen, wählt die für ihre Verarbeitung geeigneten Experten aus und sammelt die Rechendaten. Ein DHT-Knoten ist Teil einer verteilten Hash-Tabelle, in der das Netzwerk seine Daten speichert.
Host-Diagramm
Die Autoren veröffentlichten den Code, mit dem sie die Funktionalität der Plattform zunächst auf GitHub getestet hatten, stellten jedoch fest, dass sie vorerst nicht als gebrauchsfertige Bibliothek betrachtet werden sollte. Sie stellten auch fest, dass die Plattform in ihrer jetzigen Form die typischen Nachteile von Peer-to-Peer-Netzwerken aufweisen wird, einschließlich einer hohen Belastung der Netzwerkinfrastruktur sowie einer Anfälligkeit für netzwerkspezifische Angriffe, die sich aus ihrer Architektur ergeben können, sondern eine konkrete Umsetzung.
Forscher aus aller Welt arbeiten nicht nur daran, den Software-Teil neuronaler Netze und deren Training zu verbessern, sondern auch an der Hardware. Einer der vielversprechenden Bereiche sind neuromorphe Chips, die in ihrer Architektur die Organisation und das Funktionsprinzip biologischer neuronaler Netze nachbilden und Synapsen, Dendriten und Axone umfassen, die eine genauere Simulation interneuronaler Interaktionen ermöglichen. Darunter sind rein neuromorphe Chips von IBM und Intel sowie ein im vergangenen Jahr von chinesischen Entwicklern vorgestellter Hybridchip, in dem Blöcke für klassische und impulsförmige künstliche neuronale Netze kombiniert werden.
