Elektronische neuronale Netze, eines der Schlüsselkonzepte in der Forschung zur künstlichen Intelligenz, haben sich seit ihren Anfängen von biologischen Neuronen inspirieren lassen – wie schon ihr Name verrät. Neue Forschungsergebnisse haben nun gezeigt, dass die einflussreiche KI-Transformatorarchitektur auch unerwartete Parallelen zur menschlichen Neurobiologie aufweist.
In einer gemeinsamen Studie schlagen die Wissenschaftler vor, dass biologische Astrozyten-Neuronen-Netzwerke die Kernberechnungen der Transformatoren nachahmen könnten. Oder andersherum. Die Ergebnisse einer gemeinsamen Studie des MIT, des MIT-IBM Watson AI Lab und der Harvard Medical School wurden diese Woche in der Zeitschrift Proceedings of the National Academy of Sciences veröffentlicht.
Astrozyten-Neuronen-Netzwerke sind Netzwerke von Zellen im Gehirn, die aus zwei Zelltypen bestehen: Astrozyten und Neuronen. Astrozyten sind Zellen, die Neuronen unterstützen und regulieren, d. h. Gehirnzellen, die elektrische Impulse senden und empfangen. Ihre Tätigkeit besteht im Wesentlichen im Denken. Astrozyten und Neuronen kommunizieren miteinander durch Chemikalien, Elektrizität und Berührung.
Andererseits sind KI-Transformatoren – erstmals 2017 vorgestellt – eine der Basistechnologien hinter generativen Systemen wie ChatGPT. –Tatsächlich steht das „T“ in GPT für diese Technologie. Im Gegensatz zu neuronalen Netzen, die Eingaben sequentiell verarbeiten, können Transformatoren über einen Mechanismus namens Self-Attention direkt auf alle Eingaben zugreifen. Dies ermöglicht es ihnen, komplexe Abhängigkeiten in Daten wie Text zu lernen.
Die Forscher konzentrierten sich auf dreiteilige Synapsen, d. h. Verbindungen, bei denen Astrozyten Verbindungen zwischen einem Neuron, das Signale sendet (präsynaptisches Neuron), und einem Neuron, das Signale empfängt (postsynaptisches Neuron), herstellen.
Mit Hilfe mathematischer Modelle zeigten sie, wie die Integration von Signalen durch Astrozyten im Laufe der Zeit das für die Selbstaufmerksamkeit erforderliche räumliche und zeitliche Gedächtnis schaffen könnte. Ihre Modelle zeigen auch, dass mit Hilfe der Kalzium-Signalübertragung zwischen Astrozyten und Neuronen ein biologischer Transformator aufgebaut werden könnte. TL;DR, diese Studie erklärt, wie man einen organischen Transformator baut.
„Astrozyten sind eine der am häufigsten vorkommenden, aber am wenigsten erforschten Zellen des Gehirns“, erklärte Konstantinos Michmizos, außerordentlicher Professor für Informatik an der Rutgers University gegenüber dem MIT. „Das Potenzial, die Rechenleistung der anderen Hälfte unseres Gehirns freizusetzen, ist enorm.“
Ein Überblick über das vorgeschlagene Neuronen-Astrozyten-Netzwerk.
Die Hypothese stützt sich auf neue Beweise dafür, dass Astrozyten im Gegensatz zu ihren bisher angenommenen Haushaltsfunktionen eine aktive Rolle bei der Informationsverarbeitung spielen. Sie umreißt auch eine biologische Grundlage für Transformatoren, die herkömmliche neuronale Netze bei der Erledigung von Aufgaben wie der Erzeugung kohärenter Texte übertreffen können.
Die vorgeschlagenen biologischen Transformatoren könnten neue Erkenntnisse über die menschliche Kognition liefern, wenn sie experimentell validiert werden. Allerdings bestehen noch erhebliche Lücken zwischen Menschen und datenhungrigen Transformatorenmodellen. Während Transformatoren riesige Trainingsdatensätze benötigen, wandelt das menschliche Gehirn Erfahrungen mit einem bescheidenen Energiebudget organisch in Sprache um.
Obwohl die Verbindungen zwischen den Neurowissenschaften und der künstlichen Intelligenz Einblicke bieten, bleibt es eine große Herausforderung, die schiere Komplexität unseres Geistes zu verstehen. Biologische Verbindungen sind nur ein Teil des Puzzles – um die Feinheiten der menschlichen Intelligenz zu entschlüsseln, sind nachhaltige Anstrengungen in allen Disziplinen erforderlich. Wie die neuronale Biologie eine nahezu magische Leistung vollbringt, bleibt das größte Rätsel der Wissenschaft
