ChatGPT на OpenAI бързо се превърна в приятел на много програмисти, но за изследователите в областта на киберсигурността очевидно не е достатъчно надежден, за да улавя опасните бъгове.
В неотдавнашен доклад на Immunefi компанията за уеб сигурност установи, че много изследователи в областта на сигурността използват ChatGPT като част от ежедневния си работен процес. Според нейното проучване около 76 % от изследователите с „бяла шапка“ – тези, които изследват системи и код за слабости, които да отстранят – редовно използват ChatGPT, докато малко над 23 % не го правят.
Въпреки това в доклада се казва, че много изследователи смятат ChatGPT за недостатъчен в областите, в които е важен. Преди всичко Immunefi установи, че около 64 % от респондентите твърдят, че ChatGPT осигурява „ограничена точност“ при идентифицирането на уязвимости в сигурността, а около 61 % твърдят, че му липсват специализирани знания за идентифициране на експлойти, с които хакерите могат да злоупотребят.
Jonah Michaels, ръководител на комуникациите в Immunefi, заяви пред TCN, че докладът показва, че „белите шапки“ остават „изненадващо оптимистично настроени“ към потенциала на ChatGPT, особено за образователни цели, но заяви, че това не е мнение, което компанията му споделя за своята работа.
„Белите шапки виждат по-широко приложение за него“, каза Майкълс. „Ние виждаме по-ограничена употреба, защото виждаме, че се използва за подаване на по същество ненужни доклади за грешки.“
Immunefi, която е специализирана в програми за награждаване на грешки в областта на Web3, забрани на потребителите да подават доклади за грешки, използвайки ChatGPT, откакто той стана публично достъпен. Един от туитовете, публикувани от компанията, включваше скрийншот на подкана, в която се питаше самата ChatGPT защо да не се използва за докладване на грешки, на което този чатбот отговаряше, че резултатите му „може да не са точни или релевантни“.
По тази причина Майкълс заяви, че Immunefi незабавно забранява потребителите, които подават доклади за грешки въз основа на ChatGPT. Причината, каза той, е, че те често изглеждат достатъчно добре написани, за да бъдат убедителни от „гледната точка на 3000 фута“, но обикновено са пълни с недостатъци, базирани на функции, които просто не съществуват.
Ето ChatGPT за това защо не трябва да използвате ChatGPT за генериране и изпращане на доклади за грешки.
Допълнително напомняме, че подаването на доклади за грешки от ChatGPT в Immunefi ще ви бъде забранено, тъй като резултатите никога не са точни или уместни. pic.twitter.com/nOvVOmQVmG
– Immunefi (@immunefi) January 4, 2023
От пускането си през ноември миналата година ChatGPT е преследван от непоследователната точност на част от съдържанието, което създава – от фалшиви твърдения за сексуални посегателства до цитиране на правни прецеденти, които не съществуват в съдебни документи.
OpenAI предупреждава потребителите да не се доверяват сляпо на GPT поради склонността му да предоставя подвеждаща или напълно неточна информация, обикновено наричана „халюцинации“. Говорител на OpenAI не отговори на молбата на TCN за коментар за тази история.
В доклада на Immunefi общността на белите шапки изрази мнение, че моделите на ChatGPT ще изискват повече обучение за диагностициране на киберзаплахи или провеждане на одити, тъй като в момента липсват такива специализирани знания.
Мишелс заяви, че чатботът страда от това, че днес не разполага с подходящи набори от данни, и разработчиците засега трябва да разчитат на ръчно изготвен код, за да са на сигурно място. Той обаче добави, че в бъдеще може да настъпи ден, в който ChatGPT или други подобни генеративни инструменти за изкуствен интелект ще могат да изпълняват тези задачи по по-надежден начин.
„Възможно ли е ChatGPT да се усъвършенства и да бъде специално обучен за хранилищата на проекти и много други неща в света на блокчейн? Мисля, че е така“, каза Майкълс пред TCN. „Но не мисля, че мога да препоръчам това сега с оглед на това колко високи са залозите и колко нова е областта.“
