OpenAIの元主要研究者は、人工知能が人類を支配して滅亡する可能性は十分にあると考えている。
“私は、多分、AIが乗っ取り、多くの（または）ほとんどの人間が死んでしまう可能性が10-20％のようなものがあると思います。” OpenAIで言語モデルアライメントチームを運営していたポール・クリスティアーノは、Banklessポッドキャストでこう語った。”私はそれをかなり真剣に受け止めています。”
現在、AIや機械学習システムを「人間の利益」に合わせることを目的とした非営利団体「アライメント・リサーチ・センター」を率いるクリスティアーノは、AIが人間の論理的・創造的能力に達したときに何が起こるかを特に心配しているという。”全体として、もしかしたら、人間レベルのシステムを手に入れた直後に大惨事が起こる可能性は50/50という話なのかもしれません “と彼は言うのです。
クリスティアーノは良い仲間である。最近、世界中の多くの科学者がオンライン書簡に署名し、OpenAIや、より速く、より賢いAIを作ろうと競争している他の企業に対し、開発の一時停止ボタンを押すよう要請しました。ビル・ゲイツからイーロン・マスクに至る大物たちは、AIがこのまま放置されれば、人間にとって明らかに存亡の危機をもたらすと懸念を表明しています
。
邪悪になるな
なぜAIは悪になるのか？根本的には、人がそうなるのと同じ理由、つまり訓練と人生経験です。
赤ちゃんと同じように、AIは山のようなデータを受け取りながら、それをどう使っていいのかわからないまま、訓練を受けていきます。ランダムな行動で特定の目標を達成しようとすることで学習し、訓練によって定義された「正しい」結果に集中するのです。
これまでのところ、インターネット上に蓄積されたデータに没頭することで、機械学習は、人間の問いかけに対して構造化された一貫性のある回答をまとめるという、大きな飛躍を遂げています。同時に、機械学習を支える基礎的なコンピュータ処理も、より速く、より良く、より専門的になっています。科学者の中には、10年以内にこの処理能力と人工知能が組み合わされ、機械が人間のように感覚を持ち、自我を持つようになると考えている人もいます。
そうなると大変なことになります。だからこそ、多くの研究者は、ガードレールを設置する方法を、後回しにするのではなく、今考えなければならないと主張しているのです。AIの行動が監視されている限り、コントロールすることは可能です。
しかし、もしコインが裏側に落ちたら、OpenAIの共同設立者でさえ、事態は非常に、非常に悪くなる可能性があると言っています。
フームズデイ？
。
この話題は何年も前からありました。このテーマに関する最も有名な議論のひとつは、11年前にAI研究者のエリエゼル・ユドコフスキーと経済学者のロビン・ハンソンとの間で行われたものです。AIが人間より指数関数的に賢くなり、自己改善できるようになる時点のことである。(“foom “の語源は議論の余地がある）。
「つまり、ある日AGI（人工知能）を作ったら、数時間か数日後に、そのAIが再帰的に自己改良して神のような知能になり、世界を食べてしまうということです。これは現実的な話なのでしょうか？AIコミュニティで活躍するコンピュータサイエンティスト、ペリー・メッツガーは最近こうツイートした。
メッツガー氏は、コンピュータシステムが人間の知能レベルに達したとしても、悪い結果を回避するための時間はまだ十分にあると主張した。”フーム “は論理的に可能なのか？そうかもしれない。私は納得していない」と彼は言った。「現実世界では可能なのか？私はノーだと確信している。長期的に深く超人的なAIが存在するようになるのだろうか？はい、でも “フーム “ではありません”
別の著名人、ヤン・ル・クンも声を上げ、人類がAIによる乗っ取りを経験することは「全く不可能だ」と主張しています。” そう願いたいものです(
)
