OpenAI ChatGPT se rychle stal přítelem mnoha programátorů, ale pro výzkumníky v oblasti kybernetické bezpečnosti zřejmě není dostatečně spolehlivý, aby zachytil nebezpečné chyby.
V nedávné zprávě společnosti Immunefi, která se zabývá webovou bezpečností, se uvádí, že mnoho bezpečnostních výzkumníků využívá ChatGPT jako součást svého každodenního pracovního postupu. Podle jejího průzkumu používá ChatGPT pravidelně přibližně 76 % výzkumníků „bílého klobouku“ – tedy těch, kteří zkoumají systémy a kód a hledají v nich slabiny k opravě – ve srovnání s o něco více než 23 % výzkumníků, kteří ChatGPT nepoužívají.
Zpráva však uvádí, že mnoho výzkumníků považuje ChatGPT za nedostatečný v oblastech, kde je to důležité. Immunefi především zjistil, že přibližně 64 % respondentů uvedlo, že ChatGPT poskytuje „omezenou přesnost“ při identifikaci bezpečnostních zranitelností, a přibližně 61 % uvedlo, že postrádá specializované znalosti pro identifikaci exploitů, které mohou hackeři zneužít.
Jonah Michaels, vedoucí komunikace ve společnosti Immunefi, řekl TCN, že zpráva ukazuje, že „bílé klobouky“ zůstávají „překvapivě optimistické“ ohledně potenciálu ChatGPT, zejména pro vzdělávací účely, ale uvedl, že to není názor, který by jeho společnost sdílela pro svou práci.
„Bílé klobouky pro něj vidí širší využití,“ řekl Michaels. „My vidíme jeho využití omezenější, protože vidíme, že se používá k odesílání v podstatě odpadních hlášení o chybách.“
Immunefi, která se specializuje na programy odměn za chyby v oblasti Web3, zakázala uživatelům odesílat hlášení o chybách pomocí ChatGPT od doby, kdy byl poprvé veřejně dostupný. Jeden z tweetů, které společnost zveřejnila, obsahoval snímek obrazovky s dotazem na samotný ChatGPT, proč jej nepoužívat pro hlášení chyb, na který tento chatbot odpověděl, že jeho výstupy „nemusí být přesné nebo relevantní“.
Z tohoto důvodu Michaels uvedl, že společnost Immunefi okamžitě zakazuje uživatele, kteří na základě ChatGPT odesílají hlášení o chybách. Důvodem je podle něj to, že často vypadají dostatečně dobře napsané, aby byly přesvědčivé z „pohledu tří tisíc stop“, ale obvykle jsou plné chyb založených na funkcích, které prostě neexistují.
Tady je ChatGPT o tom, proč byste neměli používat ChatGPT k vytváření a odesílání hlášení o chybách.
Dodatečné připomenutí, že za odesílání hlášení o chybách ChatGPT na Immunefi dostanete ban, protože výstup není nikdy přesný ani relevantní. pic.twitter.com/nOvVOmQVmG
– Immunefi (@immunefi) 4. ledna 2023
Od svého vydání v listopadu loňského roku je ChatGPT provázena rozporuplnou přesností některých svých obsahů, od nepravdivých obvinění ze sexuálního napadení až po citování právních precedentů, které v soudních dokumentech neexistují.
Společnost OpenAI varuje před tím, aby uživatelé slepě důvěřovali službě GPT kvůli jejímu sklonu poskytovat zavádějící nebo zcela nepřesné informace, obvykle nazývané „halucinace“. Mluvčí společnosti OpenAI neodpověděl na žádost TCN o komentář k tomuto článku.
Ve zprávě společnosti Immunefi vyjádřila komunita bílých klobouků názor, že modely ChatGPT budou vyžadovat více školení v oblasti diagnostiky kybernetických hrozeb nebo provádění auditů, protože v současné době jí tyto specializované znalosti chybí.
Micheals uvedl, že chatbot dnes trpí tím, že nemá k dispozici správné datové sady, a vývojáři by se prozatím měli pro jistotu spoléhat na ručně vytvořený kód. Dodal však, že v budoucnu může nastat den, kdy ChatGPT nebo jiné podobné generativní nástroje AI budou moci tyto úkoly provádět spolehlivěji.
„Je možné, aby se ChatGPT zlepšil a byl speciálně vyškolen na projektové repozitáře a mnohem více ve světě blockchainu? Myslím, že ano,“ řekl Michaels v rozhovoru pro TCN. „Ale nemyslím si, že to mohu nyní doporučit s ohledem na to, jak vysoké jsou sázky a jak nová je tato oblast.“
