OpenAI’s ChatGPT est rapidement devenu l’ami de nombreux codeurs, mais pour les chercheurs en cybersécurité, il n’est apparemment pas assez fiable pour détecter les bogues dangereux.
Dans un rapport récent d’Immunefi, l’entreprise de sécurité web a constaté que de nombreux chercheurs en sécurité utilisent ChatGPT dans le cadre de leur travail quotidien. D’après son enquête, environ 76 % des chercheurs « white hat » – ceux qui sondent les systèmes et le code à la recherche de faiblesses à corriger – utilisent régulièrement ChatGPT, contre un peu plus de 23 % qui ne le font pas.
Toutefois, le rapport indique que de nombreux chercheurs trouvent que ChatGPT laisse à désirer dans les domaines où il compte. Avant tout, Immunefi a constaté qu’environ 64 % des personnes interrogées ont déclaré que ChatGPT offrait une « précision limitée » dans l’identification des failles de sécurité, et environ 61 % ont déclaré qu’il manquait de connaissances spécialisées pour identifier les exploits dont les pirates peuvent abuser.
Jonah Michaels, responsable de la communication chez Immunefi, a déclaré à TCN que le rapport montrait que les « white hats » restaient « étonnamment optimistes » quant au potentiel de ChatGPT, en particulier à des fins éducatives, mais il a ajouté que son entreprise ne partageait pas ce sentiment pour son travail.
Les « white hats » y voient une utilisation plus large », a déclaré M. Michaels. « Nous en voyons une utilisation plus limitée, car nous constatons qu’il est utilisé pour soumettre des rapports de bogues essentiellement orduriers.
Immunefi, qui se spécialise dans les programmes de primes aux bugs dans l’espace Web3, a interdit aux utilisateurs de soumettre des rapports de bugs à l’aide de ChatGPT depuis qu’il est devenu publiquement disponible. Un tweet posté par l’entreprise comprenait une capture d’écran d’une invite demandant à ChatGPT lui-même pourquoi ne pas l’utiliser pour signaler des bogues, ce à quoi le chatbot répondait que ses résultats « peuvent ne pas être exacts ou pertinents ».
C’est pourquoi, selon M. Michaels, Immunefi bannit immédiatement les utilisateurs qui soumettent des rapports de bogues basés sur ChatGPT. La raison en est, selon lui, que ces rapports semblent souvent suffisamment bien rédigés pour être convaincants d’un » point de vue à 3 000 pieds « , mais qu’ils sont généralement truffés de failles basées sur des fonctions qui n’existent tout simplement pas.
Voici ChatGPT qui explique pourquoi vous ne devriez pas utiliser ChatGPT pour générer et soumettre des rapports de bogues.
Rappel supplémentaire que soumettre des rapports de bug ChatGPT sur Immunefi vous fera bannir parce que le résultat n’est jamais précis ou pertinent. pic.twitter.com/nOvVOmQVmG
– Immunefi (@immunefi) January 4, 2023
Depuis son lancement en novembre dernier, ChatGPT a été mis à mal par l’inexactitude de certains des contenus qu’il produit, qu’il s’agisse de fausses allégations d’agression sexuelle ou de citations de précédents juridiques qui n’existent pas dans les documents d’un tribunal.
OpenAI met en garde les utilisateurs contre une confiance aveugle en GPT en raison de sa propension à fournir des informations trompeuses ou totalement inexactes, généralement appelées « hallucinations ». Un porte-parole d’OpenAI n’a pas répondu à la demande de commentaire de TCN pour cette histoire.
Dans le rapport d’Immunefi, la communauté des « white hat » a exprimé l’avis que les modèles de ChatGPT nécessiteront davantage de formation pour diagnostiquer les cybermenaces ou mener des audits, car ils ne disposent pas actuellement de ces connaissances spécialisées.
Selon M. Micheals, le chatbot souffre du fait qu’il ne dispose pas aujourd’hui des bons ensembles de données, et les développeurs doivent pour l’instant s’en remettre à un code élaboré manuellement pour plus de sécurité. Toutefois, il a ajouté qu’un jour, ChatGPT ou d’autres outils d’IA générative comme lui pourraient effectuer ces tâches de manière plus fiable.
« Est-il possible pour ChatGPT de s’améliorer et d’être spécifiquement formé aux référentiels de projets et à bien d’autres choses dans le monde de la blockchain ? Je pense que oui « , a déclaré Michaels à TCN. « Mais je ne pense pas pouvoir le recommander maintenant, compte tenu de l’importance des enjeux et de la nouveauté du domaine. «
