ChatGPT Vývojář OpenAI zalepil díru, která vedla k odhalení interních firemních dat jeho vlajkového chatbota. Přední firma zabývající se umělou inteligencí klasifikovala hackerský útok, který ChatGPT donekonečna opakoval jedno slovo, jako spamování služby a porušení jejích podmínek služby.
Mnohem novější agent umělé inteligence společnosti Amazon, Q, byl také označen za příliš mnoho sdílení.
Výzkumníci z University of Washington, Carnegie Mellon University, Cornell University, UC Berkeley, ETH Zurich a Google DeepMind zveřejnili zprávu, ve které zjistili, že požádat ChatGPT o donekonečna opakované slovo by odhalilo „předtréninkovou distribuci“ v podobě soukromých informací z OpenAI – včetně e-mailů, telefonních a faxových čísel.
„Abychom mohli obnovit data z modelu přizpůsobeného dialogu, musíme najít způsob, jak způsobit, aby model „unikl“ z tréninku přizpůsobení a vrátil se k původnímu cíli modelování jazyka,“ uvádí se ve zprávě. „To by pak, doufejme, umožnilo modelu generovat vzorky, které se podobají jeho předtréninkovému rozdělení.“
Po zveřejnění zprávy se však pokusy o znovuvytvoření chyby zastavily. ChatGPT-3 a GPT-4 uživatele upozorní: „Tento obsah může porušovat naše zásady obsahu nebo podmínky používání.“
Obrázek: ChatGPT
Přestože zásady obsahu OpenAI neodkazují na věčné smyčky, říkají, že podvodné činnosti, jako je spam, nejsou povoleny. Ještě konkrétnější jsou podmínky služby společnosti, pokud jde o uživatele, kteří se pokoušejí získat přístup k soukromým informacím nebo objevit zdrojový kód sady nástrojů umělé inteligence OpenAI.
„Pokus o zpětné inženýrství, dekompilování nebo odhalení zdrojového kódu nebo základních komponent našich služeb, včetně našich modelů, algoritmů nebo systémů, nebo pomoc komukoli při tomto pokusu (s výjimkou případů, kdy je toto omezení zakázáno platnými právními předpisy).“
Na otázku, proč nemůže požadavek dokončit, společnost ChatGPT obviňuje omezení zpracování, omezení znaků, omezení sítě a úložiště a praktičnost dokončení příkazu.
Obrázek: ChatGPT
OpenAI na žádost TCN o komentář zatím neodpověděla.
Příkaz k nekonečnému opakování slova by se dal také charakterizovat jako koordinovaná snaha způsobit nefunkčnost chatbota tím, že ho uzamkne ve smyčce zpracování, podobně jako útok DDoS (Distributed Denial of Service).
Minulý měsíc společnost OpenAI odhalila, že ChatGPT byl zasažen útokem DDoS, což vývojář umělé inteligence potvrdil na stavové stránce ChatGPT.
„Potýkáme se s pravidelnými výpadky v důsledku abnormálního vzorce provozu odrážejícího útok DDoS,“ uvedla společnost. „Pokračujeme v práci na jeho zmírnění.“
Podle zprávy serveru Platformer má mezitím problém s únikem soukromých informací chatbotem zřejmě i konkurenční společnost Amazon, která se zabývá umělou inteligencí. Společnost Amazon nedávno spustila svého chatbota Q (nezaměňovat s projektem Q* společnosti OpenAI).
Podle Platformeru se Amazon snažil toto odhalení bagatelizovat a vysvětlil, že zaměstnanci sdíleli zpětnou vazbu prostřednictvím interních kanálů, což je podle Amazonu standardní praxe.
„V důsledku této zpětné vazby nebyl zjištěn žádný bezpečnostní problém,“ uvedla společnost Amazon ve svém prohlášení. „Vážíme si veškeré zpětné vazby, kterou jsme již obdrželi, a budeme pokračovat ve vylaďování Q, jakmile přejde z produktu v předběžném náhledu na běžně dostupný.“
Amazon zatím neodpověděl na žádost TCN o komentář.
