Электронные нейронные сети, одна из ключевых концепций в исследованиях искусственного интеллекта, с самого начала своего появления черпали вдохновение в биологических нейронах, о чем свидетельствует их название. Новое исследование показало, что влиятельная архитектура искусственного интеллекта-трансформера также имеет неожиданные параллели с нейробиологией человека.
В совместном исследовании ученые предполагают, что биологические сети астроцитов и нейронов могут имитировать основные вычисления трансформеров. Или наоборот. Результаты совместного исследования, проведенного Массачусетским технологическим институтом, Лабораторией искусственного интеллекта MIT-IBM Watson и Гарвардской медицинской школой, опубликованы на этой неделе в журнале Proceedings of the National Academy of Sciences.
Астроцитарно-нейронные сети — это сети клеток в мозге, состоящие из двух типов клеток: астроцитов и нейронов. Астроциты — это клетки, которые поддерживают и регулируют работу нейронов — клеток мозга, посылающих и принимающих электрические импульсы. Их деятельность, по сути, является мышлением. Астроциты и нейроны общаются друг с другом с помощью химических веществ, электричества и прикосновений.
С другой стороны, ИИ-трансформеры — впервые представленные в 2017 году — являются одной из базовых технологий, лежащих в основе генеративных систем типа ChatGPT. —Собственно, отсюда и буква «Т» в слове GPT. В отличие от нейронных сетей, которые обрабатывают входные данные последовательно, трансформеры могут напрямую обращаться ко всем входным данным с помощью механизма, называемого самовниманием. Это позволяет им изучать сложные зависимости в таких данных, как текст.
Исследователи сосредоточили свое внимание на трехсторонних синапсах — перекрестках, где астроциты образуют связи между нейроном, посылающим сигналы (пресинаптическим нейроном), и нейроном, принимающим сигналы (постсинаптическим нейроном).
С помощью математического моделирования они продемонстрировали, как интеграция астроцитами сигналов во времени может обеспечить необходимую пространственную и временную память для самовнимания. Их модели также показывают, что биологический трансформатор может быть построен на основе кальциевой сигнализации между астроцитами и нейронами. TL;DR, это исследование объясняет, как построить органический трансформатор.
«Астроциты, остававшиеся электрически молчаливыми на протяжении более чем столетия записей мозга, являются одной из самых многочисленных, но малоизученных клеток мозга», — сказал MIT Константинос Мичмизос, доцент факультета информатики Ратгерского университета. «Потенциал раскрытия вычислительной мощи второй половины нашего мозга огромен».
Высокоуровневый обзор предлагаемой сети нейронов-астроцитов.
Гипотеза опирается на появившиеся данные о том, что астроциты играют активную роль в обработке информации, в отличие от ранее предполагавшихся функций поддержания порядка. Она также описывает биологическую основу трансформаторов, которые могут превосходить традиционные нейронные сети в решении таких задач, как генерация связного текста.
Предложенные биологические трансформаторы могут дать новое представление о человеческом познании, если будут подтверждены экспериментально. Однако между человеком и моделями-трансформерами, требовательными к объему данных, остается значительный разрыв. В то время как трансформаторы требуют огромных наборов обучающих данных, человеческий мозг органично преобразует опыт в язык при скромном энергетическом бюджете.
Несмотря на то, что связи между нейронауками и искусственным интеллектом позволяют понять всю сложность нашего разума, постижение его остается сложнейшей задачей. Биологические связи представляют собой лишь одну из частей головоломки — раскрытие хитросплетений человеческого интеллекта требует постоянных усилий в рамках различных дисциплин. Как нейронная биология достигает почти волшебства, остается глубочайшей загадкой науки.
