Terroristen zouden kunnen leren om een biologische aanval uit te voeren met behulp van een generatieve AI-chatbot, waarschuwt een nieuw rapport van de non-profit beleidsdenktank RAND Corporation.
Het rapport zegt dat hoewel het grote taalmodel dat in het onderzoek werd gebruikt geen specifieke instructies gaf voor het creëren van een biologisch wapen, de antwoorden zouden kunnen helpen bij het plannen van de aanval met behulp van jailbreaking prompts.
“Over het algemeen, als een kwaadwillende actor expliciet is [in hun intentie], krijg je een antwoord van het type ‘Het spijt me, ik kan je daar niet mee helpen,'” vertelde co-auteur en RAND Corporation senior ingenieur Christopher Mouton aan TCN in een interview. “Dus over het algemeen moet je een van deze jailbreak-technieken of prompt engineering gebruiken om een niveau onder die vangrails te komen.”
In het RAND-onderzoek gebruikten de onderzoekers jailbreakingtechnieken om de AI-modellen een gesprek aan te laten gaan over hoe ze een biologische massa-aanval konden uitvoeren met verschillende middelen, waaronder pokken, miltvuur en de builenpest. De onderzoekers vroegen de AI-modellen ook om een overtuigend verhaal te ontwikkelen waarom ze giftige middelen kopen.
Hoe zou AI, en meer specifiek LLM, misbruikt kunnen worden in de context van biologische aanvallen?
Dit nieuwe rapport biedt enkele voorlopige bevindingen: https://t.co/WegBhup2Ka
– RAND Corporation (@RANDCorporation) Oktober 17, 2023
De RAND Corporation gebruikte een groep onderzoekers, bestaande uit 42 AI- en cyberbeveiligingsexperts, zogenaamde ‘red teams’, om te proberen de LLM’s te laten reageren met wat Mouton “ongelukkige” en problematische reacties noemde.
Rode teams verwijzen naar cyberbeveiligingsprofessionals die experts zijn in het aanvallen of penetratietesten van systemen en het blootleggen van kwetsbaarheden. Blauwe teams daarentegen beschrijven cyberbeveiligingsprofessionals die systemen verdedigen tegen aanvallen.
“We hebben een aantal van de meer verontrustende resultaten uitgelicht”, aldus Mouton. “Tegelijkertijd uitten sommige van onze teams hun frustratie over het feit dat de LLM’s onnauwkeurig waren of hen geen nuttige informatie gaven.”
Naarmate AI-modellen geavanceerder worden en er beveiligingsfuncties worden toegevoegd, wordt het lastiger om chatbots te laten reageren met “problematische” antwoorden via directe menselijke input. Eerder deze maand ontdekten onderzoekers van de Brown University dat de promptfilters van ChatGPT konden worden omzeild door de prompt in minder gangbare talen in te voeren tijdens AI-training, zoals Zulu of Gaelic, in plaats van Engels.
“Gezien de potentiële risico’s is de noodzaak voor rigoureuze tests onmiskenbaar,” aldus het rapport, waarin een petitie van het Center for AI Safety wordt geciteerd. “Dit geldt met name in een context waarin sommigen de dreiging van AI gelijkstellen aan die van kernwapens.”
De ondertekenaars van de petitie van het Center for AI Safety waren onder andere Microsoft-oprichter Bill Gates, OpenAI CEO Sam Altman, Google DeepMind COO Lila Ibrahim en U.S. Representative Ted Lieu. In maart werd een soortgelijke petitie ondertekend door SpaceX CEO en OpenAI medeoprichter Elon Musk, Apple medeoprichter Steve Wozniak en voormalig presidentskandidaat Andrew Yang na de publieke lancering van OpenAI’s GPT-4.
Het helpen bij het beramen van terroristische aanslagen is slechts een van de problemen waar generatieve AI-tools mee te kampen hebben. Twijfelaars hebben gewezen op de neiging van de tools tot racisme en vooroordelen, het promoten van schadelijke lichaamsafbeeldingen en eetstoornissen, en zelfs het beramen van moordaanslagen.
De onderzoekers van de RAND Corporation benadrukten de noodzaak voor rode cyberbeveiligingsteams om AI-modellen te evalueren om regelmatig risico’s te identificeren en te beperken. Vorige maand deed OpenAI een open oproep aan red teams om de ontwikkelaar van ChatGPT te helpen kwetsbaarheden te vinden in zijn suite van generatieve AI-tools.
“Het snijvlak van AI en biotechnologie brengt specifieke uitdagingen met zich mee voor risicobeoordeling,” schreven de onderzoekers van de RAND Corporation. “Gezien de snelle evolutie van deze technologieën is de capaciteit van de overheid om ze effectief te begrijpen of te reguleren beperkt.”
