OpenAIのChatGPTは瞬く間に多くのコーダーの味方となったが、サイバーセキュリティ研究者にとっては、危険なバグを発見するのに十分な信頼性がないようだ。
Immunefi社が最近発表したレポートによると、ウェブセキュリティ会社の多くのセキュリティ研究者が、日々のワークフローの一部としてChatGPTを利用していることがわかった。同社の調査によると、ホワイトハット研究者（システムやコードに修正すべき弱点がないか調査する研究者）の約76％がChatGPTを定期的に使用しているのに対し、使用していない研究者は23％強だった。
しかし、レポートによれば、多くの研究者はChatGPTが重要な部分で不十分だと感じている。Immunefiの調査によると、回答者の約64％が、ChatGPTはセキュリティ脆弱性の特定において「限定的な精度」であると回答しており、約61％が、ハッカーが悪用する可能性のあるエクスプロイトを特定するための専門的な知識が不足していると回答している。
Immunefi社のコミュニケーション・リードであるジョナ・マイケルズ氏はTCNに対し、このレポートはホワイトハットがChatGPTの可能性、特に教育目的に対して「驚くほど強気」であることを示しているとしながらも、これは同社が自社の仕事に対して共有している感情ではないと述べた。
「ホワイトハットは、ChatGPTをより広範囲に利用できると考えています。「なぜなら、本質的にゴミのようなバグレポートを提出するために使われているからだ」。
Web3分野のバグ報奨金プログラムを専門とするImmunefi社は、ChatGPTが初めて公開されて以来、ユーザーがChatGPTを使ってバグ報告を提出することを禁止している。同社が投稿したあるツイートには、ChatGPT自体にバグ報告に使用しない理由を尋ねるプロンプトのスクリーンショットが含まれており、それに対してそのチャットボットは、その出力は “正確でも適切でもないかもしれない “と回答している。
このため、ImmunefiはChatGPTに基づいてバグ報告を提出するユーザーを即座に禁止しているとマイケルズ氏は述べた。その理由は、「3,000フィート（3,000フィート＝3,000フィート）の視点」から見ると、バグレポートは十分に説得力のあるように書かれているように見えるが、実際には存在しない機能に基づく欠陥だらけであることが多いからだという。
ChatGPT を使ってバグレポートを作成・提出すべきではない理由について、ChatGPT を紹介します。
ImmunefiでChatGPTのバグレポートを提出するとBANされます。pic.twitter.com/nOvVOmQVmG
– Immunefi (@immunefi) 2023年1月4日
昨年11月のリリース以来、ChatGPTは、虚偽の性的暴行疑惑や裁判文書に存在しない判例の引用など、一部のコンテンツの正確性に一貫性がないことで悩まされてきた。
OpenAIは、GPTが “幻覚 “と呼ばれるような、誤解を招きやすい、あるいは完全に不正確な情報を提供する傾向があるため、ユーザーがGPTを盲目的に信用しないよう警告している。OpenAIの広報担当者は、TCNからの本記事に対するコメント要請に回答しなかった。
Immunefiのレポートの中で、ホワイトハット・コミュニティは、ChatGPTモデルには現在そのような専門的な知識が欠けているため、サイバー脅威の診断や監査を行うにはより多くのトレーニングが必要であるとの見解を示した。
Micheals氏は、チャットボットは現在、適切なデータセットを持っていないことに苦しんでおり、開発者は今のところ、安全側にいるために手動で細工したコードに頼るべきだと述べた。しかし彼は、将来的にはChatGPTや他の生成AIツールが、より信頼性の高い方法でこれらのタスクをこなせる日が来るかもしれないと付け加えた。
「ChatGPTが改良され、ブロックチェーンの世界におけるプロジェクト・リポジトリーやその他多くのことに特化したトレーニングを受けることは可能だろうか？そう思います」とマイケルズ氏はTCNに語った。「しかし、今それを推奨することはできないと思います。
