Технологии сделали многое для того, чтобы помочь в моменты, когда нужно назвать ту или иную мелодию. Благодаря искусственному интеллекту теперь даже не нужно петь или напевать песню — достаточно просто подумать о ней.
Именно к такому будущему стремятся ученые после того, как в ходе прорывного исследования с помощью искусственного интеллекта (ИИ) удалось воссоздать музыку, просто сканируя активность мозга, когда человек думал о песне.
В работе, опубликованной в журнале PLOS Biology, исследователи под руководством Калифорнийского университета в Беркли смогли сгенерировать узнаваемую аудиозапись песни Pink Floyd «Another Brick in the Wall, Part 1», используя только данные, полученные от мозга.
Исследование включало в себя запись электрических сигналов непосредственно из мозга пациентов с эпилепсией, которые уже находились под наблюдением для лечения приступов. Когда пациенты пассивно слушали классическую рок-песню, электроды на поверхности их мозга фиксировали активность областей, обрабатывающих слуховые сигналы.
Затем исследователи загрузили этот набор данных о мозге в алгоритмы машинного обучения. Анализируя закономерности реакции различных участков слуховой коры на такие компоненты, как высота тона, темп, вокал и инструменты, модели искусственного интеллекта научились связывать определенную нейронную активность с конкретными акустическими характеристиками.
Обучившись этим парам «входной сигнал — реакция», модели смогли создавать новые спектрографические представления на основе одних только данных мозга. Затем исследователи преобразовали эти визуализации в волновые формы, получив аудиозапись, которая, хотя и в искаженном виде, отчетливо напоминала песню «Another Brick in the Wall, Part 1».
Можно было не только определить мелодию и текст песни, но нейронная расшифровка даже отражала, какие инструменты вызывают определенные реакции в различных областях мозга. Например, активность некоторых участков верхней височной извилины изменялась в ответ на вокальные слоги. В то же время другие области активизировались в большей степени в ответ на устойчивый ритм гитарных мотивов песни.
Это демонстрирует способность разложить сложный музыкальный стимул на составные части, основываясь исключительно на обработке мозгом. Если это подтвердится в ходе дальнейших исследований, то это станет огромным скачком вперед в декодировании мыслей, поскольку предыдущие методы ограничивались отдельными словами или буквами.
Старший автор работы, нейробиолог из Калифорнийского университета в Беркли д-р Роберт Найт, пояснил, что группа выбрала песню Pink Floyd именно из-за ее богатой, многослойной инструментовки. Однако этот подход может быть применен к любой музыке или даже к улавливанию мелодических свойств естественной речи.
Исследователи предполагают, что в перспективе эта технология может быть использована для того, чтобы помочь тяжело парализованным пациентам или людям, перенесшим инсульт, вернуть способность говорить, просто подумав. Уже разрабатываются интерфейсы «мозг-компьютер», позволяющие декодировать слова или текст по данным неинвазивного сканирования мозга. Добавление мелодики и просодии позволит реконструировать более полные мысли и задуманную речь.
Исследователи уже не первый год добиваются успехов в области чтения мыслей, а появление мощных моделей искусственного интеллекта (и аппаратных средств) позволило добиться серьезных прорывов в этой области.
Не далее как в мае группа исследователей смогла превратить мысли в текст. «Мы были в некотором роде шокированы тем, что это работает так хорошо, как работает. Я работаю над этим уже 15 лет… поэтому было шокирующе и волнующе, когда это наконец-то получилось», — сказал ведущий автор исследования д-р Александр Хут, нейробиолог из Техасского университета в Остине.
Кроме того, недавно TCN сообщил о том, что команда медиков успешно имплантировала микрочипы в мозг человека с четырехсторонней инвалидностью и смогла использовать искусственный интеллект для восстановления чувствительности и движения, «(переподключив) его мозг к телу и спинному мозгу»
Кроме того, компания Neuralink Элона Маска получила «зеленый свет» на начало испытаний на людях своих мозговых имплантатов, что позволит выйти на новые рубежи в этой области исследований. Компания Neuralink уже заявила, что способна читать мысли животных и позволять обезьяне управлять компьютером и играть в понг, используя только мозг.
Воплощение этих результатов в реальных приложениях пока еще сопряжено с определенными трудностями. Но авторы надеются, что с быстрым развитием записывающих устройств и возможностей искусственного интеллекта их подход может однажды превратиться в интерфейсы «мысль-речь», которые вернут голос людям с нарушениями речи.
«Сегодня мы восстановили песню, — сказал в интервью журналу Scientific American Роберт Т. Найт, один из исследователей. «Возможно, завтра мы сможем восстановить весь альбом Pink Floyd».
Помимо клинического применения, такие методы нейронного декодирования открывают захватывающие возможности для изучения таких явлений, как память, обучение и творчество, буквально читая мысли с высокой точностью. Исследование команды Калифорнийского университета в Беркли представляет собой переломный момент, приближающий нас к доступу к богатому внутреннему опыту разума.
