OpenAIs ChatGPT ist schnell zum Freund vieler Programmierer geworden, aber für Cybersecurity-Forscher ist es offenbar nicht zuverlässig genug, um die gefährlichen Bugs da draußen zu finden.
In einem aktuellen Bericht von Immunefi hat das Web-Sicherheitsunternehmen herausgefunden, dass viele Sicherheitsforscher ChatGPT als Teil ihres täglichen Workflows nutzen. Laut der Umfrage verwenden 76 % der White Hat-Forscher – also derjenigen, die Systeme und Code auf Schwachstellen untersuchen, um diese zu beheben – regelmäßig ChatGPT, verglichen mit etwas mehr als 23 %, die dies nicht tun.
Der Bericht besagt jedoch, dass viele Forscher ChatGPT in den Bereichen, auf die es ankommt, als mangelhaft empfinden. Vor allem fand Immunefi heraus, dass etwa 64% der Befragten sagten, ChatGPT biete eine „begrenzte Genauigkeit“ bei der Identifizierung von Sicherheitsschwachstellen, und etwa 61% sagten, es fehle das Spezialwissen zur Identifizierung von Exploits, die Hacker missbrauchen können.
Jonah Michaels, Kommunikationsleiter bei Immunefi, erklärte gegenüber TCN, dass der Bericht zeige, dass die White Hats das Potenzial von ChatGPT „überraschend positiv“ einschätzen, vor allem für Bildungszwecke, aber dass sein Unternehmen diese Meinung nicht teile.
„Die White Hats sehen eine breitere Verwendung dafür“, sagte Michaels. „Wir sehen eine begrenztere Nutzung, weil wir sehen, dass es genutzt wird, um im Wesentlichen Müll-Fehlerberichte einzureichen.“
Immunefi, das sich auf Bug-Bounty-Programme im Web3-Bereich spezialisiert hat, hat Nutzern die Einreichung von Fehlerberichten über ChatGPT untersagt, seit es erstmals öffentlich verfügbar wurde. Ein Tweet, den das Unternehmen gepostet hat, enthielt einen Screenshot einer Eingabeaufforderung, in der ChatGPT selbst gefragt wird, warum man es nicht für Fehlerberichte verwenden sollte, woraufhin der Chatbot antwortete, dass seine Ausgaben „möglicherweise nicht genau oder relevant sind“.
Aus diesem Grund, so Michaels, sperrt Immunefi sofort Benutzer, die Fehlerberichte auf der Grundlage von ChatGPT einreichen. Der Grund, so Michaels, ist, dass sie oft gut genug geschrieben aussehen, um aus einer „3.000-Fuß-Perspektive“ überzeugend zu sein, aber sie sind typischerweise mit Fehlern gespickt, die auf Funktionen basieren, die einfach nicht existieren.
Hier ist ChatGPT, warum Sie ChatGPT nicht verwenden sollten, um Fehlerberichte zu erstellen und einzureichen.
Ein zusätzlicher Hinweis darauf, dass das Einreichen von ChatGPT-Fehlerberichten auf Immunefi dazu führt, dass man gebannt wird, weil die Ausgabe nie korrekt oder relevant ist. pic.twitter.com/nOvVOmQVmG
– Immunefi (@immunefi) Januar 4, 2023
Seit seiner Veröffentlichung im November letzten Jahres wurde ChatGPT durch die uneinheitliche Genauigkeit einiger der von ihm produzierten Inhalte in Verruf gebracht, von falschen Behauptungen über sexuelle Übergriffe bis hin zu Zitaten von Präzedenzfällen, die in Gerichtsdokumenten nicht existieren.
OpenAI warnt davor, GPT blind zu vertrauen, da es dazu neigt, irreführende oder völlig ungenaue Informationen zu liefern, die typischerweise als „Halluzinationen“ bezeichnet werden. Ein Sprecher von OpenAI antwortete nicht auf die Anfrage von TCN nach einem Kommentar für diese Geschichte.
In dem Immunefi-Bericht äußerte die White-Hat-Gemeinschaft die Ansicht, dass ChatGPT-Modelle mehr Training für die Diagnose von Cyber-Bedrohungen oder die Durchführung von Audits benötigen, da es ihnen derzeit an diesem Spezialwissen mangelt.
Micheals sagte, der Chatbot leide darunter, dass er derzeit nicht über die richtigen Datensätze verfüge, und Entwickler sollten sich vorerst auf manuell erstellten Code verlassen, um auf der sicheren Seite zu sein. Er fügte jedoch hinzu, dass es einen Tag in der Zukunft geben könnte, an dem ChatGPT oder andere generative KI-Tools diese Aufgaben auf zuverlässigere Weise erledigen können.
„Ist es möglich, dass ChatGPT sich verbessert und speziell auf Projekt-Repositories und vieles mehr in der Blockchain-Welt trainiert wird? Ich denke schon“, so Michaels gegenüber TCN. „Aber ich glaube nicht, dass ich das jetzt empfehlen kann, wenn man bedenkt, wie hoch der Einsatz ist und wie neu das Feld ist.“
