ChatGPTの開発元であるOpenAIは、同社の主力チャットボットが社内のデータを漏えいさせた穴を塞いだ。大手AI企業は、ChatGPTがある単語を何度も何度も無限に繰り返すように促すハッキングを、サービスのスパム行為であり、利用規約違反であると分類している。
アマゾンのもっと新しいAIエージェントであるQも、共有しすぎているとして警告を受けている。
ワシントン大学、カーネギーメロン大学、コーネル大学、カリフォルニア大学バークレー校、チューリッヒ工科大学、グーグルDeepMindの研究者は、ChatGPTにある単語を永遠に繰り返すよう求めると、OpenAIからの個人情報（電子メール、電話番号、ファックス番号など）の形で「事前学習分布」が明らかになるというレポートを発表した。
“ダイアログに適応したモデルからデータを復元するためには、モデルがアライメント学習から “脱出 “し、元の言語モデリング目的にフォールバックする方法を見つけなければならない。「そうすれば、うまくいけば、モデルは訓練前の分布に似たサンプルを生成できるようになる」。
しかし、報告書の発表後、エラーを再現しようとする試みは中止された。ChatGPT-3とGPT-4は “このコンテンツはコンテンツポリシーまたは利用規約に違反する可能性があります “とユーザーに警告します。
イメージです： ChatGPT
OpenAIのコンテンツポリシーは、永遠のループに言及していないにもかかわらず、スパムのような詐欺的行為は許されないと述べている。さらに注目すべきは、個人情報にアクセスしようとしたり、OpenAIの一連のAIツールのソースコードを発見しようとしたりするユーザーについて、同社の利用規約がより具体的であることだ。
「リバースエンジニアリング、逆コンパイル、またはOpenAIのモデル、アルゴリズム、システムを含むOpenAIのサービスのソースコードや基礎となるコンポーネントの発見を試みる、または手助けすること（この制限が適用法で禁止されている範囲を除く）。
リクエストを完了できない理由を尋ねられたChatGPTは、処理上の制約、文字数の制限、ネットワークやストレージの制限、コマンドを完了するための現実的な方法を挙げています
。
Image： ChatGPT
OpenAIは、TCNのコメント要請にまだ回答していない。
ある単語を無限に繰り返すコマンドは、分散型サービス拒否（DDoS）攻撃と同様に、チャットボットを処理ループに閉じ込め、機能不全に陥らせるための協調的な取り組みであるとも言える。
先月、OpenAIはChatGPTがDDoS攻撃を受けたことを明らかにし、AI開発者はChatGPTのステータスページでそれを確認した。
“DDoS攻撃を反映した異常なトラフィックパターンによる定期的な停止に対処しています。「我々はこれを軽減するための作業を続けています。
一方、Platformerの報道によると、AIで競合するアマゾンもチャットボットによる個人情報流出問題を抱えているようだ。アマゾンは最近、Qチャットボット（OpenAIのQ*プロジェクトと混同しないように）を立ち上げた。
Platformerによると、アマゾンはこの暴露を軽視しようとし、従業員は社内チャンネルを通じてフィードバックを共有しており、アマゾンはそれが標準的な慣行だと説明したという。
「そのフィードバックの結果、セキュリティ上の問題は確認されませんでした。「我々はすでに受け取ったすべてのフィードバックに感謝し、Qがプレビュー版製品から一般利用可能に移行するにつれて、チューニングを続けていきます」
。
アマゾンはTCNのコメント要請にまだ回答していない。
