ChatGPT di
OpenAI è diventato rapidamente un amico per molti coder, ma per i ricercatori di cybersicurezza, a quanto pare, non è abbastanza affidabile per catturare i bug pericolosi in circolazione.
In un recente rapporto di Immunefi, la società di sicurezza web ha scoperto che molti ricercatori di sicurezza utilizzano ChatGPT come parte del loro flusso di lavoro quotidiano. Secondo il sondaggio, circa il 76% dei ricercatori “white hat”, ovvero coloro che sondano sistemi e codice alla ricerca di punti deboli da correggere, utilizza regolarmente ChatGPT, rispetto a poco più del 23% che non lo fa.
Tuttavia, il rapporto afferma che molti ricercatori ritengono che ChatGPT sia carente nelle aree in cui conta. Al di sopra di tutte le altre preoccupazioni, Immunefi ha rilevato che circa il 64% degli intervistati ha dichiarato che ChatGPT fornisce una “limitata accuratezza” nell’identificazione delle vulnerabilità di sicurezza e circa il 61% ha affermato che manca di conoscenze specialistiche per identificare gli exploit di cui gli hacker possono abusare.
Jonah Michaels, responsabile delle comunicazioni di Immunefi, ha dichiarato a TCN che il rapporto mostra che i white hat rimangono “sorprendentemente ottimisti” sul potenziale di ChatGPT, soprattutto a scopo educativo, ma ha detto che questo non è un sentimento condiviso dalla sua azienda per il suo lavoro.
“I white hats ne vedono un uso più ampio”, ha detto Michaels. “Noi ne vediamo un uso più limitato, perché vediamo che viene utilizzato per inviare segnalazioni di bug essenzialmente spazzatura”.
Immunefi, specializzata in programmi di bug bounty nello spazio Web3, ha vietato agli utenti di inviare segnalazioni di bug utilizzando ChatGPT da quando è diventato pubblicamente disponibile. Un tweet pubblicato dall’azienda includeva uno screenshot di un messaggio che chiedeva a ChatGPT stesso perché non usarlo per la segnalazione di bug, al quale il chatbot rispondeva che i suoi risultati “potrebbero non essere accurati o rilevanti”.
Per questo motivo, Michaels ha dichiarato che Immunefi vieta immediatamente gli utenti che inviano segnalazioni di bug basate su ChatGPT. Il motivo, ha detto, è che spesso sembrano scritti abbastanza bene da essere convincenti da una “vista da 3.000 piedi”, ma in genere sono pieni di difetti basati su funzioni che semplicemente non esistono.
Ecco ChatGPT sul perché non dovreste usare ChatGPT per generare e inviare segnalazioni di bug.
Ricordiamo inoltre che inviare segnalazioni di bug via ChatGPT su Immunefi vi farà bannare perché il risultato non è mai accurato o rilevante. pic.twitter.com/nOvVOmQVmG
– Immunefi (@immunefi) January 4, 2023
Sin dal suo rilascio, lo scorso novembre, ChatGPT è stato perseguitato dall’incoerente accuratezza di alcuni dei contenuti che produce, dalle false accuse di violenza sessuale alla citazione di precedenti legali che non esistono nei documenti del tribunale.
OpenAI mette in guardia gli utenti dal fidarsi ciecamente di GPT a causa della sua propensione a fornire informazioni fuorvianti o completamente inaccurate, tipicamente chiamate “allucinazioni”. Un portavoce di OpenAI non ha risposto alla richiesta di commento di TCN per questa storia.
Nel rapporto di Immunefi, la comunità dei white hat ha espresso l’opinione che i modelli di ChatGPT richiederanno una maggiore formazione nella diagnosi delle minacce informatiche o nella conduzione di audit, poiché attualmente non dispongono di tali conoscenze specialistiche.
Micheals ha affermato che il chatbot soffre del fatto di non avere oggi i set di dati giusti e che gli sviluppatori per ora dovrebbero affidarsi al codice creato manualmente per essere al sicuro. Tuttavia, ha aggiunto che in futuro ChatGPT o altri strumenti di IA generativa come lui potrebbero svolgere questi compiti in modo più affidabile.
“È possibile che ChatGPT possa migliorare ed essere addestrato in modo specifico sui depositi di progetti e molto altro nel mondo della blockchain? Penso di sì”, ha dichiarato Michaels a TCN. “Ma non credo di poterlo consigliare ora, visto quanto è alta la posta in gioco e quanto è nuovo il campo. “
