ChatGPT
OpenAI szybko stał się przyjacielem wielu programistów, ale dla badaczy cyberbezpieczeństwa najwyraźniej nie jest wystarczająco niezawodny, aby wyłapać niebezpieczne błędy.
W niedawnym raporcie Immunefi, firmy zajmującej się bezpieczeństwem sieciowym, stwierdzono, że wielu badaczy bezpieczeństwa korzysta z ChatGPT w ramach codziennego przepływu pracy. Według ankiety, około 76% badaczy w białych kapeluszach – tych, którzy sondują systemy i kod w poszukiwaniu słabych punktów do naprawienia – regularnie korzysta z ChatGPT, w porównaniu do nieco ponad 23%, którzy tego nie robią.
Raport stwierdza jednak, że wielu badaczy uważa ChatGPT za niewystarczający w obszarach, w których się liczy. Przede wszystkim Immunefi stwierdziło, że około 64% respondentów stwierdziło, że ChatGPT zapewnia „ograniczoną dokładność” w identyfikowaniu luk w zabezpieczeniach, a około 61% stwierdziło, że brakuje mu specjalistycznej wiedzy do identyfikowania exploitów, które hakerzy mogą wykorzystać.
Jonah Michaels, kierownik ds. komunikacji w Immunefi, powiedział TCN, że raport pokazuje, że białe kapelusze pozostają „zaskakująco optymistyczne” co do potencjału ChatGPT, zwłaszcza w celach edukacyjnych, ale powiedział, że nie jest to sentyment, który jego firma podziela w swojej pracy.
„Białe kapelusze widzą dla niego szersze zastosowanie” – powiedział Michaels. „My widzimy jego bardziej ograniczone zastosowanie, ponieważ widzimy, że jest używany do przesyłania zasadniczo śmieciowych raportów o błędach”.
Immunefi, która specjalizuje się w programach bug bounty w przestrzeni Web3, zakazała użytkownikom przesyłania raportów o błędach za pomocą ChatGPT, odkąd po raz pierwszy stał się publicznie dostępny. Jeden z tweetów opublikowanych przez firmę zawierał zrzut ekranu z pytaniem do samego ChatGPT, dlaczego nie używać go do zgłaszania błędów, na co chatbot odpowiedział, że jego wyniki „mogą nie być dokładne lub istotne”.
Z tego powodu Michaels powiedział, że Immunefi natychmiast blokuje użytkowników, którzy przesyłają raporty o błędach w oparciu o ChatGPT. Powodem jest to, że często wyglądają one na wystarczająco dobrze napisane, aby były przekonujące z „perspektywy 3000 stóp”, ale zazwyczaj są pełne błędów opartych na funkcjach, które po prostu nie istnieją.
Here’s ChatGPT on why you shouldn’t use ChatGPT to generate and submit bug reports.
Dodatkowe przypomnienie, że przesyłanie raportów o błędach ChatGPT na Immunefi spowoduje zbanowanie, ponieważ dane wyjściowe nigdy nie są dokładne ani istotne. pic.twitter.com/nOvVOmQVmG
– Immunefi (@immunefi) January 4, 2023
Od czasu premiery w listopadzie ubiegłego roku, ChatGPT był nękany przez niespójną dokładność niektórych treści, od fałszywych oskarżeń o napaść seksualną po cytowanie precedensów prawnych, które nie istnieją w dokumentach sądowych.
OpenAI ostrzega użytkowników przed ślepym zaufaniem GPT ze względu na jego skłonność do dostarczania mylących lub całkowicie niedokładnych informacji, zwykle nazywanych „halucynacjami”. Rzecznik OpenAI nie odpowiedział na prośbę TCN o komentarz do tej historii.
W raporcie Immunefi społeczność białych kapeluszy wyraziła pogląd, że modele ChatGPT będą wymagały więcej szkoleń w zakresie diagnozowania cyberzagrożeń lub przeprowadzania audytów, ponieważ obecnie brakuje im tej specjalistycznej wiedzy.
Micheals powiedział, że chatbot cierpi z powodu braku odpowiednich zestawów danych, a programiści powinni na razie polegać na ręcznie tworzonym kodzie, aby być po bezpiecznej stronie. Dodał jednak, że w przyszłości może nadejść dzień, w którym ChatGPT lub inne generatywne narzędzia sztucznej inteligencji będą mogły wykonywać te zadania w bardziej niezawodny sposób.
„Czy jest możliwe, aby ChatGPT poprawił się i został specjalnie przeszkolony w zakresie repozytoriów projektów i wielu innych w świecie blockchain? Myślę, że tak” – powiedział Michaels dla TCN. „Ale nie sądzę, żebym mógł to teraz polecić, biorąc pod uwagę, jak wysoka jest stawka i jak nowa jest ta dziedzina.”
