Künstliche neuronale Netze schaffen heute Aufgaben, die noch vor zehn Jahren für Computer unlösbar waren. Doch das Gehirn hält noch viele weitere Kniffe bereit, die eine „neuromorphe" Revolution der Hardware auslösen könnten - und damit die Abkehr vom klassischen Computer.
Foto: Chris Foster/University of Manchesterelbstfahrende Autos, Gesichtserkennung, Sprachassistenten - tiefe neuronale Netze verblüffen mit immer besseren Leistungen. Ihre Arbeitsweise folgt den Prinzipien biologischer Nervensysteme: Neuronen empfangen Signale über Synapsen, verrechnen sie und schicken das Resultat an andere Neuronen. Sie sind in Schichten aufgebaut, und sie lernen, indem sie die Effizienz verändern, mit der Synapsen die Impulse übertragen. So weit, so hirnartig.
Trotzdem sind künstliche neuronale Netzen extrem vereinfachte Abbilder dessen, was Neurowissenschaftler in Gehirnen tatsächlich beobachten (siehe Seite 33). Gehirne sind wesentlich stärker vernetzt, und sie schicken Impulse zwischen ihren Schichten hin und her. Echte Neuronen sind zudem keine eindimensionalen Integrationseinheiten, sondern räumlich ausgedehnte Wesen mit Ästen voller Synapsen. Und sie arbeiten nicht nur digital, sondern integrieren Informationen auch analog.
Einiges spricht dafür, dass diese Unterschiede der Grund dafür sind, warum selbst die modernsten neuronalen Netze auf den besten Supercomputern nicht mit der Auffassungsgabe einer Dreijährigen mithalten. Deshalb arbeiten Industrie und Forschung nun an „neuromorpher" Hardware, die Architektur und Arbeitsweise des Gehirns so exakt nachbaut, wie es die heutige Chiptechnologie erlaubt. Diese neuromorphen Maschinen sollen kontinuierlich aus Sinnesdaten lernen und Hirnforschern helfen, unser Denken besser zu verstehen.
TrueNorth heißt einer der Ansätze. Der Chip ist das Produkt des SyNAPSE-Projekts der US-Forschungsagentur Darpa, verwirklicht von IBM, Hewlett-Packard und dem Hughes Research Lab. Er besteht aus einem Netzwerk aus 4096 „neurosynaptischen" Rechnerkernen, die parallel die Aktivität von rund einer Million Neuronen simulieren. Jedes Neuron kann 256 Inputs von anderen integrieren und hat dafür individuell programmierbare Input-Kanäle (Synapsen).
Neuromorph an TrueNorth ist, dass der Chip mit einem alten Prinzip der Rechnerarchitektur bricht: der Trennung von Prozessor und Speicher. Denn auch im menschlichen Gehirn ist jede der 100 Milliarden Nervenzellen zugleich Speicher und Prozessor einer kleinen Menge an Informationen. In TrueNorth hat deshalb jeder Rechenkern seinen eigenen Speicher, der den Zustand der Neuronen und Synapsen kontinuierlich aktualisiert. Das ist kein perfektes Abbild, aber dem Aufbau des Gehirns deutlich näher als jeder klassische Rechner.
" Konnektivität auf dem Niveau des Gehirns. "
Dennoch wäre TrueNorth ohne konventionelle Computer aufgeschmissen. Denn der Chip selbst kann keinen Lernalgorithmus ausführen. Alles Training, zum Beispiel für das Erkennen von Objekten, findet auf anderen Computern statt, die ein Software-Modell von TrueNorth simulieren. Das Resultat, also die Verbindungsstärken (fachsprachlich Gewichte) der Synapsen, werden nach dem Training auf die echten Rechnerkerne von TrueNorth kopiert.
Neben dem Aufbau ähnelt auch die Arbeitsweise von TrueNorth dem Gehirn. Denn statt einem einheitlichen Prozessortakt zu folgen, arbeiten seine Rechnerkerne „eventbasiert": Wie im Nervensystem generieren die Neuronen als Output binäre Impulse, Aktionspotenziale oder „Spikes". Der Vorteil: Nur wenn ein Neuron einen Spike als Input bekommt, wird sein Rechnerkern aktiv. Das macht TrueNorth außergewöhnlich energieeffizient. Er verbraucht mit 70 Milliwatt im Vergleich zu handelsüblichen Chips nur rund ein Zehntausendstel.
„Auch in biologischen neuronalen Netzen feuern Neuronen extrem selten", sagt Karlheinz Meier, Professor für Experimentalphysik an der Uni Heidelberg. Er arbeitet im Rahmen des Human Brain Project (siehe Kasten S. 36) selbst an einem neuromorphen Chip, dem BrainScaleS, der ebenfalls digitale Spikes zur Kommunikation nutzt. „Spikes sind ein zentraler Grund dafür, dass Gehirne so energieeffizient sind", sagt Meier.
Ein weiterer Unterschied zwischen natürlichen und künstlichen neuronalen Netzen:
In letzteren übernimmt das Lernen heute fast ausschließlich der sogenannte Backpropagation-Algorithmus. Dieser vergleicht für jeden Input den Unterschied zwischen gewünschtem und tatsächlichem Output des Netzwerks. Anhand dieses „Fehlers" berechnet er für jede der (oft vielen Milliarden) Synapsen eine kleine Fehlerkorrektur.
Backpropagation hat tiefen neuronalen Netzen zum Durchbruch in der KI verholfen. Aber solch ein Algorithmus braucht eine zentrale Steuerung, und das Gehirn hat keine. Synapsen, die die Fehlerkorrektur selber erledigen, wären eine elegante und effiziente Lösung. Eine zentrale Voraussetzung dafür ist, dass Neuronen Feedback-Spikes aus höheren Hirnregionen erhalten, die sie mit Signalen vergleichen können, die aus tieferen Regionen einströmen, zum Beispiel aus den Sinnesorganen.
Und Feedback im Gehirn gibt's wie Berliner Bürger an der Currywurstbude. In biologischen neuronalen Netzen gilt fast immer: Wenn A mit B verbunden ist, dann ist es B auch mit A. Zugleich haben Gehirne viel weniger Schichten als ihre künstlichen Abbilder, für die 100 Schichten nichts Ungewöhnliches sind. „Ein Netzwerk mit zwölf Schichten und starkem Feedback kann womöglich ein Netzwerk mit 100 Schichten ohne Feedback abbilden", sagt Steve Furber von der University of Manchester. „Aber niemand weiß, wie man ein Netzwerk mit derart starkem Feedback analysieren soll." Dazu hat er nun das Netzwerk SpiNNaker (Spiking Neural Network Architecture) gebaut. Es soll Hirnforschern und KI-Forschern eine Plattform bieten, um hochvernetzte Systeme zu erforschen. „Das Besondere an SpiNNaker ist, dass wir damit eine Konnektivität auf dem Niveau des Gehirns schaffen können", sagt Furber.
SpiNNaker ist ein Monstrum von einem Rechner: 600 Platinen mit je 48 Chips und 18 Rechnerkernen pro Chip: macht rund eine halbe Million Rechnerkerne. Auf jedem Chip läuft eine Simulation von 16000 Neuronen - zusammen simulieren sie 460 Millionen Neuronen mit insgesamt 460 Milliarden Synapsen. Wie in TrueNorth basiert die Kommunikation in SpiNNaker auf Spikes. Allerdings sind die Chips selbst nicht neuromorph. SpiNNaker besteht aus konventionellen ARM-Prozessoren, wie sie heute in Smartphones eingesetzt werden. „Neuromorph ist bei SpiNNaker nur das hohe Maß an Vernetzung", sagt Furber.
Möglich machen dies spezielle Router im Zentrum jedes Chips, die Spikes zwischen den Neuronen in Bruchteilen von Millisekunden hin- und herschicken. Eine weitere Besonderheit: Diese Kommunikation läuft vollständig asynchron ab. Jeder Chip folgt seinem eigenen Takt und verarbeitet eingehende Spikes, sobald er sie registriert. Anfangs hat Furber sich selbst gewundert, dass eine solche asynchrone Architektur die üblichen Aufgaben tiefer neuronaler Netze tadellos erledigen kann.
Eine vordefinierte Aufgabe hatte SpiNNaker indes nicht. Die Geldgeber des Human Brain Project verlangten nur, dass Furber ein hochvernetztes, spike-basiertes System mit mindestens einer halben Million Neuronen baut und dann öffentlich zugänglich macht. Seit Mitte 2016 kann jeder, der Lust hat, über das Internet seine Blaupausen für ein neuronales Netz an SpiNNaker schicken. Einige Forschergruppen haben sich sogar Platinen mit SpiNNaker-Chips per Post liefern lassen, um darauf neuronale Netze für ihre Roboter zu implementieren, etwa den „SpOmnibot" der TU München. Dessen gesamte Informationsverarbeitung, vom visuellen Input bis zu den Steuersignalen an die Räder, wird von SpiNNaker-Chips ausgeführt.
Foto: University of Manchester Foto: IntelAber auch Netzwerken mit Spikes und viel Feedback fehlt noch eine zentrale Eigenschaft des Gehirns: Sobald Spikes das Ende einer Nervenleitung erreichen, lösen sie an der Synapse die Ausschüttung chemischer Botenstoffe aus. Erst diese Neurotransmitter übertragen das Signal an die nächste Zelle. Dort kommt es jedoch nicht als Spike an, sondern besitzt eine deutlich ausgedehnte zeitliche Struktur: Das Signal schwillt an und fällt wieder ab. Wie stark, hängt davon ab, wie viele Spikes nacheinander eintreffen. Überschreitet die Stärke eine gewisse Schwelle, beginnt die Synapse mehr Rezeptoren für Neurotransmitter einzubauen. Dies erhöht die Wahrscheinlichkeit, dass das empfangende Neuron ein Signal weiterleitet. Aus diesem Grund sind die zeitlichen Muster eintreffender Spikes entscheidend für die Lernfähigkeit des Gehirns.
Um diese Eigenschaft echter Hirnzellen auf Chips zu übertragen, bräuchte man analoge elektronische Bauteile. Diese aber lassen sich nur schwer zu großen Netzwerken zusammenschalten - ihre Signale können leichter verebben oder sich in Schleifen gefährlich aufschaukeln. „Rein analoge Systeme kann man nicht groß bauen", bestätigt Karlheinz Meier aus Heidelberg. Doch die Natur habe ja eine Lösung dafür gefunden: Man schickt Signale zwischen den Neuronen digital als Spikes und integriert nur nach den Synapsen die zeitlich ausgedehnten Potenziale. Es ist dieser Ansatz, den Meiers Gruppe mit BrainScaleS verfolgt. Und der könnte eine Art neuromorpher Informationsrevolution ermöglichen.
„BrainScaleS ist kein Computer", sagt Meier. To compute bedeute rechnen, also mit Abstraktionen von Zahlen operieren. BrainScaleS habe aber keine Prozessoren. Es sei einfach ein physikalisches Netzwerk, durch das Signale ohne jede Taktung hindurchlaufen und integriert werden. Dabei werden die Neuronen aus einer Kombination von Transistoren und analogen Elementen emuliert - nicht simuliert wie beim SpiNNaker-Chip.
„Neuronale Netzwerke lernen bisher vor allem aus räumlichen Informationen", sagt Meier - also aus dem Ort, von dem ein Spike kommt. BrainScaleS dagegen könne als „zeitkontinuierliches" Netzwerk auch die genauen zeitlichen Abstände der Spikes als Informationsträger nutzen. Darüber hinaus emuliert BrainScaleS Dendriten, jene vielen Äste echter Nervenzellen, auf denen die Synapsen sitzen. Dendriten sind keine passiven Empfangseinheiten, sondern können feststellen, welche Spikes in welcher zeitlichen Folge aus welchen Hirnregionen ankommen, und gegebenenfalls selbst Spikes erzeugen. So könnten sie eine lokale Fehlerkorrektur schaffen, von der oben die Rede war. Genau diese Theorie soll BrainScaleS nun testen.
Mit diesen drei Eigenschaften - Feedback, aktiven Dendriten und kontinuierlicher Zeit - ist BrainScaleS heute das wohl „neuromorphste" System. Meier hofft, damit in Zukunft auch Probleme zu lösen, an denen tiefe neuronale Netze und andere neuromorphe Systeme bisher scheiterten - etwa das kontinuierliche Lernen aus Sinnesdaten.
„Die Hoffnung ist, dass neuromorphe Systeme in Zukunft so effizient lernen wie biologische", sagt Steve Furber. Noch füllen Systeme wie SpiNNaker und BrainScaleS ganze Schränke. Sollten sich die Erwartungen an effiziente neuromorphe Chips bestätigen, könnte das ein neues Rennen zur Miniaturisierung auslösen, diesmal mit einer Hardware, die wirklich von unserem Denkorgan abgeschaut ist.
Ob unser Wissen über die Funktion des Gehirns dafür ausreicht, ist jedoch noch offen. Selbst ein Chipriese wie Intel ist sich unsicher, wohin die Reise geht. Zwar präsentierte Intel zur Elektronikmesse CES Anfang des Jahres stolz seinen neuromorphen Chip namens Loihi. Der ist ebenfalls spike-basiert, arbeitet asynchron und ist mit 130000 Neuronen und 130 Millionen Synapsen stark vernetzt. Jeder Rechnerkern besitzt, wie bei BrainScaleS, einen eigenen Lernprozessor.
Intel verkauft den Chip in einem Werbevideo schon jetzt als Zukunft der Menschheit. Die beteiligten Entwickler sehen das Produkt nüchterner: Loihi sei der komplexeste neuromorphe Chip, den sie bislang entwickelt haben, schreiben Mike Davies und seine Kollegen von den Intel Labs. „In manchen Punkten" sei das Design vielleicht „zu flexibel, in anderen nicht flexibel genug", und ein kommerziell verfügbarer Neurochip könne vielleicht „an einem ganz anderen Designpunkt" landen. „Aber wir hoffen, Loihi ist ein Schritt in die richtige Richtung." Ein Satz, den wahrscheinlich die gesamte Community unterschreiben würde.