テクノロジーは、舌先三寸でその曲名を思い浮かべる瞬間に大いに役立つ。AIのおかげで、歌を歌ったり鼻歌を歌ったりする必要さえなくなった。
ある画期的な研究が、人工知能（AI）を使って、曲について考えている間の脳の活動をスキャンするだけで、音楽を再現することに成功したのだ。
PLOS Biology誌に掲載された論文で、カリフォルニア大学バークレー校を中心とする研究者たちは、脳からのデータだけを使ってピンク・フロイドの「アナザー・ブリック・イン・ザ・ウォール、パート1」の認識可能な音声を生成することに成功した。
この研究では、すでに発作治療のためにモニタリングを受けているてんかん患者の脳から直接電気信号を記録した。患者が受動的にロックの名曲を聴いている間、脳表面の電極が聴覚処理領域の活動を捉えた。
研究者たちは次に、この脳のデータセットを機械学習アルゴリズムに投入した。ピッチ、テンポ、ボーカル、楽器などの構成要素に対する聴覚野のさまざまな領域の反応パターンを分析することで、AIモデルは特定の神経活動と特定の音響的特徴との関連付けを学習した。
このような入力と反応の組み合わせについて学習させると、モデルは脳データのみから新しいスペクトログラム表現を生成することができた。研究者たちは次に、これらの視覚化を波形に変換し、文字化けしながらも明らかに “Another Brick in the Wall, Part 1 “に似た音声を生成した。
メロディーと歌詞が識別できただけでなく、神経解読は、どの楽器が異なる脳領域で特定の反応を引き起こすかまで反映した。例えば、上側頭回のある部位の活動は、声調音節に特異的に反応して変動した。一方、他の領域は、曲の安定したリズムのギターのモチーフに反応してより活性化した
。
これは、複雑な音楽的刺激を脳の処理のみに基づいて構成要素に分解する能力を実証している。今後の研究で確認されれば、これまでの技術は個々の単語や文字に限られていたため、思考の解読において大きな飛躍を意味する。
筆頭著者であるカリフォルニア大学バークレー校の神経科学者ロバート・ナイト博士は、研究チームがピンク・フロイドの曲を特に選んだのは、その豊かで重層的な楽器の演奏が理由だと説明した。しかし、このアプローチはどのような音楽にも応用できるし、自然な音声のメロディー特性を捉えることもできる。
研究者たちは、この技術はいずれ、重度の麻痺患者や脳卒中患者が考えるだけで話す能力を取り戻すのを助けるために使われる可能性があると示唆している。非侵襲的な脳スキャンから単語やテキストを解読するブレイン・コンピューター・インターフェイスはすでに開発されている。メロディーやプロソディーの次元を加えることで、より充実した思考や意図した発話を再構築することが可能になる。
研究者たちは何年も前からこの読心術の分野で進歩を遂げており、強力なAIモデル（とハードウェア）の台頭によって、この分野で大きなブレークスルーを見ることができるようになった。
つい最近の5月には、研究者チームが思考をテキスト化することに成功した。「これほどうまくいくとは、ちょっとショックでした。テキサス大学オースティン校の神経科学者アレクサンダー・フート博士は、「私は15年間この研究に取り組んできました。
また、TCNは最近、ある医療チームが四肢麻痺の男性の脳にマイクロチップを埋め込むことに成功し、「（脳を身体と脊髄に）再連結する」ことによって、AIを使って感覚と運動を回復させることができたと報じた。
それに加えて、イーロン・マスクのNeuralinkは、この研究分野を新たなフロンティアに導くため、脳インプラントの人体実験を開始する許可を得た。Neuralink社はすでに、動物の思考を読み取り、脳だけでサルにコンピューターを操作させ、ポンを打たせることができると主張している。
これらの成果を実世界での応用につなげるには、まだ課題がある。しかし著者らは、録音機器とAI能力の急速な進歩により、彼らのアプローチがいつか、音声障害者に音声を返す思考音声インターフェイスへと発展する可能性があると期待を寄せている。
研究者の一人であるロバート・T・ナイトは、『サイエンティフィック・アメリカン』誌に次のように語っている。「明日はピンク・フロイドのアルバム全体を再構成できるかもしれない。
臨床的な用途にとどまらず、こうした神経解読技術は、文字通り忠実に思考を読み取ることによって、記憶、学習、創造性といった現象を研究するためのエキサイティングな可能性を開くものでもある。カリフォルニア大学バークレー校の研究チームは、心の豊かな内面体験へのアクセスに近づく、画期的な瞬間である。
