Neuronale Netze im Vergleich: Unterschiede zwischen Neuronen und Transistoren

Sowohl biologische Nervenzellen als auch künstliche Neuronen sind grundlegende Bausteine für die Informationsverarbeitung. Während Nervenzellen die Basis für unser Gehirn bilden, sind künstliche Neuronen die Grundlage für künstliche neuronale Netze und die darauf aufbauende künstliche Intelligenz. Deep Learning und andere erfolgreiche Varianten der künstlichen Intelligenz basieren auf diesem Grundbaustein. Doch wie ist so ein künstliches Neuron eigentlich aufgebaut? Und wie nah an den biologischen Vorbildern sind diese künstlichen Nervenzellen?

Aufbau biologischer Neurone

Um die Unterschiede und Gemeinsamkeiten zwischen Neuronen und Transistoren zu verstehen, lohnt es sich, einen Blick auf den Aufbau und die Funktionsweise biologischer Neurone zu werfen. Deren Hauptaufgabe ist es, Informationen aufzunehmen, zu verarbeiten und gegebenenfalls weiterzuleiten. Für jede dieser Teilfunktionen sind bestimmte Unterbereiche des Neurons jeweils von besonderer Bedeutung.

Eine Nervenzelle kann man grob in vier Teile untergliedern:

• Die Dendriten
• Den Zellkörper - auch Soma genannt
• Das Axon
• Die Synapsen

In Bezug auf die Informationsverarbeitung und -weiterleitung sind die Dendriten vor allem für die Informationsaufnahme zuständig. Das Axon übernimmt die Weiterleitung und die Synapsen sind für die Übertragung auf andere Neurone verantwortlich. Der Zellkörper hilft bei der Verarbeitung der Informationen, ist aber vor allem für den Stoffwechsel der Nervenzelle zuständig.

Information in der Nervenzelle

Jedes Neuron besitzt - wie eigentlich jede Zelle im Körper - ein sogenanntes Membranpotential. Das bedeutet, dass eine kleine elektrische Spannung zwischen der Außen- und der Innenseite der Zellmembran anliegt. Neurone können diese Spannung selbstständig modifizieren und so Informationen speichern und weiterleiten.

Lesen Sie auch: Was sind erregende und hemmende Synapsen?

Was diese Spannungsunterschiede im einzelnen repräsentieren, ist abhängig vom Kontext des Neurons. Bei einem Neuron in visuellen Gehirnbereichen könnte beispielsweise ein Aktionspotential dafür stehen, dass ein bestimmter Strich blau oder horizontal orientiert ist. Für eine Nervenzelle, welche ins Hören eingebunden ist, könnte das Aktionspotential das Vorhandensein einer bestimmten Tonhöhe bedeuten.

Falls ein Neuron „sich entscheidet“, dass die eingegangene Information weitergeleitet werden soll, wird die Information über das Axon vom Zellkörper zu den Synapsen mithilfe eines Aktionspotentials übertragen. Diese “Entscheidung” und das Weiterleiten folgt dem sogenannten „Alles-oder-Nichts-Prinzip“. Entweder es wird der Entschluss getroffen, die ankommenden Informationen nicht weiterzuleiten: Dann passiert nichts. Oder ein Aktionspotential wird am Übergang zwischen Zellkörper und Axon ausgelöst. Dies hat eine Umkehrung des Membranpotentials zur Folge, die sich über das gesamte Axon ausbreitet.

Informationsübertragung zwischen Nervenzellen

Während die Informationsübertragung innerhalb einer Nervenzelle elektrisch stattfindet, läuft sie zwischen Neuronen chemisch ab. Sogenannte Neurotransmitter werden vom ersten Neuron ausgeschüttet und überwinden per Diffusion den kleinen Spalt zu den Dendriten des zweiten Neurons. Dort aktivieren sie spezielle Rezeptoren und verändern dadurch das Membranpotential. Diese Veränderung wird dann wieder zum Übergang zwischen Zellkörper und Axon weitergeleitet, wo anhand eines bestimmten Schwellenwerts entschieden wird, ob ein Aktionspotential ausgelöst wird oder nicht. Dieser Schwellenwert entspricht einer Mindeststärke der Änderung des Membranpotentials. Wenn dieser nicht erreicht ist, wird kein Aktionspotential ausgelöst und die angekommene Information wird nicht weitergeleitet.

Künstliche Neurone: Eine Annäherung an das biologische Vorbild

Ein „einfaches“ künstliches Neuron ahmt die eben genannten Bestandteile eines biologischen Neurons mathematisch nach. Es gibt eine sogenannte Übertragungs- und eine Aktivierungsfunktion. Die Übertragungsfunktion ahmt die Informationsaufnahme in den Dendriten nach, während die Aktivierungsfunktion die Entscheidung für (oder gegen) ein Aktionspotential nach dem Alles-oder-Nichts-Prinzip simuliert. Das Axon wird in seinem biologischen Sinn nicht mehr benötigt, da es vor allem für die Überwindung der physischen Abstände im Gehirn zuständig ist. Im Computer können die Informationen aber einfach zwischengespeichert werden und müssen nirgendwo hin transportiert werden.

Von der Synapse wird nur eine einzige Eigenschaft berücksichtigt, die synaptische Stärke genannt wird. Dies ist eine Grundlage des biologischen (und des künstlichen!) Lernens und entspricht der Stärke der Membranpotentialveränderung, wenn Neurotransmitter an die Dendriten des postsynaptischen Neurons gelangen. Die synaptische Stärke ist im künstlichen Neuron die sogenannte Gewichtung der einkommenden Signale. Falls eine künstliche Nervenzelle oder ein künstliches neuronales Netzwerk lernen soll, sind es diese „Gewichte“, welche angepasst werden, sodass die Berechnung im Neuron oder Netzwerk immer besser wird.

Lesen Sie auch: Erregung und Hemmung an Synapsen: Eine Gegenüberstellung

Klassische künstliche Nervenzellen

Eine klassische Variante ist, einfach eine gewichtete Summe zu verwenden für die Übertragungsfunktion, also die einkommenden Signale in Relation zu ihrer synaptischen Stärke aufzuaddieren.

In der Aktivierungsfunktion benutzt man dann eine Funktion, welche diese Summe anhand eines Schwellenwerts auf die Zahl Null oder eins abbildet. Dies ahmt das Alles-oder-Nichts-Prinzip nach, in welchem die null für keine Aktivität und die Eins für ein Aktionspotential steht.

Wenn man genau ist, gibt es das künstliche Neuron gar nicht. Je nachdem, welchen Aspekt man im jeweiligen Einzelfall simulieren möchte, können unterschiedliche Modelle herangezogen werden.

Bleibt man in der oben beschriebenen Idee eines künstlichen Neurons, kann man beispielsweise die verwendeten Übertragungs- und Aktivierungsfunktionen variieren.

Für detaillierte Modelle kann man die dreidimensionale Ausbreitung von Neuronen modellieren und deren physikalische Eigenschaften möglichst nah an die der biologischen Nervenzellen anlehnen.

Lesen Sie auch: Unterschiede im Gehirn: Pferd und Mensch

Interessiert man sich dagegen eigentlich gar nicht dafür, wie die Aktionspotentiale zustande kommen, sondern vor allem über deren zeitliche Zusammenfassung, gibt es bestimmte Zufallsprozesse, welche das Auftreten gut nachahmen können - ohne eine Simulation der zugrunde liegenden Biologie.

Künstliche neuronale Netze

Auch wenn ein einzelnes Neuron schon bestimmte Probleme erlernen und lösen kann, werden Neurone erst besonders effektiv, wenn sie in ein neuronales Netzwerk eingebaut sind - das gilt für biologische Neurone genauso wie für künstliche. Die einzelnen Neuronen des Netzes erledigen dabei eine jeweils kleine und relativ einfache Aufgabe. Ein Neuron hat keine direkte Information über seine Nachbar-, Vor- oder Folgeneuronen. Die Aufgabe jedes Neurons ist folgende: Es summiert zunächst die gewichteten Eingaben der ihm vorgeschalteten Neuronen. Seine Aktivierung hängt davon ab, ob diese Summe einen gewissen Schwellwert überschreitet. Das Addieren geschieht nicht proportional, sondern nichtlinear, also so, dass Werte weit unterhalb des Schwellwerts eine 0 ergeben und Werte oberhalb eine 1. Im Unterschied zu Transistoren ist die Aktivierung jedoch nicht sprunghaft, sondern stetig (es gibt auch Werte zwischen 0 und 1) und dadurch differenzierbar.

Die Neuronen im neuronalen Netz werden in Schichten organisiert, ähnlich wie die visuelle Verarbeitung im Gehirn. Obwohl man beweisen kann, dass theoretisch eine einzige innere Schicht genügt, um beliebige Funktionen zu approximieren, hat sich gezeigt, dass sich Netze mit mehr Schichten häufig einfacher trainieren lassen.

Transistoren: Die Grundlage moderner Computer

Um die Unterschiede zwischen Neuronen und Transistoren vollständig zu verstehen, ist es wichtig, die Rolle von Transistoren in herkömmlichen Computern zu betrachten. 1945 beschrieb von Neumann eine einfache Computerarchitektur, d. h. Die Von-Neumann-Architektur besteht aus zwei Hauptkomponenten: einer zentralen Recheneinheit (CPU) und dem Speicher für Daten und Anweisungen. Diese beiden Komponenten sind durch einen Bus miteinander verbunden. Selbstverständlich hat sich die Computertechnik seit den 1940er Jahren erheblich weiterentwickelt. Diese Architektur hat jedoch eine entscheidende Einschränkung. Die CPU und der Speicher sind separate Komponenten. Die Rechenleistung wird daher durch die Geschwindigkeit begrenzt, mit der sich Daten über den Bus zwischen den Komponenten übertragen lassen.

Moore'sches Gesetz und seine Grenzen

Seit Jahrzehnten steigt die Rechenleistung der großen Rechencluster. Immer mehr Transistoren passen auf einen Chip, von denen wiederum Millionen zusammen geschaltet werden, um gemeinsam das zeitintensive Training der neuronalen Netze zu ermöglichen. Begünstigt wurde dies durch Moore’s law, der beobachteten Gesetzmäßigkeit, dass sich die Anzahl der Transistoren pro Chip in der Vergangenheit circa alle zwei Jahre verdoppelt hat. Spätestens seit den 2010er Jahren flacht dieses Wachstum allerdings immer weiter ab, die Grenzen des physisch Möglichen scheinen erreicht. Fortschritte können mithin nur noch erzielt werden, indem immer mehr Chips zu immer größeren Clustern zusammen geschaltet werden.

Der Von-Neumann-Flaschenhals

Eine der Errungenschaften des zwanzigsten Jahrhunderts ist die Entwicklung des von Neumann Computers, nach dem heute noch alle bekannten Computer aufgebaut sind. Er zeichnet sich durch die Trennung von Speicher und Rechnereinheit (CPU - central processing unit) aus. Diese klare Trennung sorgt dafür, dass die einzelnen Teile effizient separat entwickelt werden können und vielfach sogar austauschbar sind. Darauf basierend hat sich eine Hierarchie moderner Programmiersprachen entwickelt, die Stück für Stück abstrakter wird und so ermöglicht, dass bereits Schulkinder Programme schreiben können, ohne sich mit Transistoren und Schaltkreisen zu beschäftigen. Leider führt die Trennung von Speicher und Recheneinheit bei den heutigen, datenintensiven Algorithmen zu einem Flaschenhals. Obwohl sowohl der Speicher als auch die Rechenleistung immer weiter steigen, lähmt der nötige Datentransfer vom Speicher in die Recheneinheit die modernen Programme.

Neuromorphe Chips: Eine neue Architektur

Um die Grenzen der traditionellen Computerarchitektur zu überwinden, wird intensiv an neuen Technologien geforscht. Eine vielversprechende Option ist die Entwicklung neuromorpher Chips, bei welchen Architektur, Algorithmen und Hardware eng miteinander verknüpft sind. Bereits vor über fünf Jahrzehnten haben sich Wissenschaftler und Ingenieure vom menschlichen Gehirn inspirieren lassen und das Konzept des neuromorphen Computings vorgeschlagen. Dieser Entwurf nutzt analoge Signale, um die elektrischen Eigenschaften von Synapsen, Neuronen, Axonen und Dendriten nachzuahmen. Die neuartige Architektur folgt also den vereinfachten Betriebsregeln des Denkens. Das Gehirn verwendet Signalspitzen, sogenannte „Spikes“, um Informationen zu übertragen und zu verarbeiten. Es arbeitet dabei häufig an der Grenze eines chaotischen Verhaltens.

Komponenten neuromorpher Chips

Neuromorphe Chips sind spezialisierte elektronische Komponenten, die neuronale Netzwerke in Hardware nachbilden und dabei Eigenschaften biologischer Gehirne imitieren. Die Bezeichnung „neuromorph“ (neuro = Nerv, Nervenzelle/morph = Form, Gestalt) taucht in diesem Zusammenhang erstmals in den 1980er-Jahren auf. Die traditionellen Von-Neumann-Architekturen stoßen schnell an Grenzen, wenn es um datenintensive Anwendungen wie Objekterkennung, Sprachgenerierung oder autonomes Fahren geht. Die Trennung von Prozessor und Speicher (Von-Neumann-Flaschenhals, s. o.) führt zu hohem Energie- und Zeitverbrauch für den Datentransfer.

• Künstliche Neuronen: elektronische Einheiten, die Informationen empfangen, verarbeiten und weiterleiten. Künstliche Neuronen werden durch spezielle elektronische Schaltungen realisiert. Diese Schaltungen sind darauf ausgelegt, die grundlegenden Funktionen biologischer Neuronen nachzubilden, wie das Empfangen, Integrieren und Ausgeben von Signalen. Ein wichtiger Aspekt ist die Fähigkeit, sogenannte „Spikes“ zu erzeugen, die den Aktionspotentialen in biologischen Neuronen entsprechen.
• Elektronische Synapsen: Verbindungen zwischen Neuronen, die die Gewichtung von Signalen ändern können. Elektronische Synapsen werden beispielsweise durch Memristoren verwirklicht. Memristoren sind Bauelemente, die ihren elektrischen Widerstand in Abhängigkeit von der durch sie fließenden Strommenge ändern können. Diese Eigenschaft ermöglicht es Memristoren, Informationen zu speichern und gleichzeitig die Gewichtung von Signalen zu ändern, was der Funktion biologischer Synapsen sehr ähnelt. Die synaptische Gewichtung, also die Stärke der Verbindung zwischen Neuronen, wird durch den Widerstand der Memristoren dargestellt. Durch das Anpassen des Widerstands können die Chips lernen und sich an neue Informationen anpassen.

Vorteile neuromorpher Chips

• Energieeffizienz: Neuere Studien deuten darauf hin, dass neuromorphe Chips bei bestimmten Aufgaben theoretisch eine Energiereduktion auf bis zu 1/1000 der heutigen Technologie erwarten lassen. In der Praxis sind jedoch eher Reduktionen auf 1/10 bis 1/100 zu erwarten. Dennoch würde man dann anstelle von Kilowatt-Leistungen nur noch mit einigen Watt auskommen. Die käme dem typischen Energieverbrauch eines menschlichen Gehirns von ca.
• Hardware-basierte KI: Bisher wurden praktisch alle KI-Systeme in Software realisiert. Allein der Einsatz von Grafikkarten (GPUs) zeigt, dass dies keine endgültige Lösung sein kann. Neuromorphe Chips stellen dagegen einen bedeutenden Fortschritt in Richtung „echter“ KI-Hardware dar. Im Gegensatz zu konventionellen Computern und GPUs sind sie von der Struktur und Funktionsweise her dem menschlichen Gehirn nachempfunden. Die neuronale Struktur wird hier sozusagen direkt in „Hardware gegossen“. Ein Umweg über Softwarestrukturen, die auf klassischer und für diesen Zweck eigentlich veralteter und ungeeigneter Hardware laufen, ist nicht mehr erforderlich.

Herausforderungen und Zukunftsperspektiven

Trotz der vielversprechenden Vorteile stehen der breiten Anwendung neuromorpher Chips noch einige Herausforderungen entgegen. Dazu gehören die Entwicklung neuer Programmiersprachen, die die eingebaute Lernfähigkeit der Memristoren nutzen können, sowie die Bewältigung ethischer Fragen im Zusammenhang mit Computern, die auf neuromorpher Architektur basieren und möglicherweise eines Tages menschliche Eigenschaften imitieren könnten.

Dennoch wird intensiv an den Grundlagen neuromorpher Computer geforscht, auch in Deutschland. Mehrere große Chiphersteller wie Intel und IBM werben zwar mit „neuromorphen Chips“, allerdings sind diese oft nur Attrappen, die traditionelle Transistoren auf neue Art und Weise verbinden. Ob neuromorphe Computer sich in Zukunft durchsetzen und die Probleme heutiger KI Systeme lösen werden, oder ob vielleicht doch Quantencomputer, oder aber eine gänzlich andere, noch nicht erfundene Technologie vorherrschen wird, bleibt abzuwarten.

Unterschiede im Überblick

Merkmal	Neuron (biologisch)	Transistor (klassisch)	Neuromorpher Chip
Funktion	Informationsaufnahme, -verarbeitung, -weiterleitung	Schalten von Strom, Grundlage für logische Operationen	Nachbildung neuronaler Funktionen in Hardware
Struktur	Dendriten, Soma, Axon, Synapsen	Halbleitermaterial mit Source, Drain, Gate	Künstliche Neuronen und Synapsen (z.B. Memristoren)
Informationsübertragung	Elektrisch (innerhalb), chemisch (zwischen Neuronen)	Elektrisch	Spikes (ähnlich Aktionspotentialen)
Energieeffizienz	Sehr hoch	Geringer bis moderat	Potenziell sehr hoch
Lernfähigkeit	Durch synaptische Plastizität	Nicht direkt	Durch Anpassung der synaptischen Gewichtung
Architektur	Massiv parallel, dezentral	Zentralisiert (Von-Neumann-Architektur)	Massiv parallel, an Gehirn angelehnt
Anwendungsbereiche	Gehirn, Nervensystem	Computer, Elektronikgeräte	KI, maschinelles Lernen, Robotik

tags: #vergleich #neuronen #transistoren