ChatGPT от компании OpenAI быстро стал другом многих программистов, но для исследователей кибербезопасности он, по-видимому, недостаточно надежен для выявления опасных ошибок.
В недавнем отчете компании Immunefi, специализирующейся на веб-безопасности, было обнаружено, что многие исследователи безопасности используют ChatGPT как часть своего повседневного рабочего процесса. Согласно результатам исследования, около 76% «белых шляп» — исследователей, изучающих системы и код в поисках слабых мест для исправления, — регулярно используют ChatGPT, в то время как чуть более 23% не делают этого.
Однако в отчете говорится, что многие исследователи считают ChatGPT недостаточно эффективным в тех областях, где это важно. Так, около 64% респондентов заявили, что ChatGPT обеспечивает «ограниченную точность» при выявлении уязвимостей в системе безопасности, а около 61% отметили, что ему не хватает специальных знаний для выявления эксплойтов, которыми могут воспользоваться хакеры.
Джона Майклс (Jonah Michaels), руководитель отдела коммуникаций компании Immunefi, сообщил TCN, что, судя по отчету, «белые шляпы» по-прежнему «удивительно высоко» оценивают потенциал ChatGPT, особенно в образовательных целях, но при этом отметил, что его компания не разделяет такого мнения о своей работе.
«Белые шляпы» видят более широкое применение этой технологии, — сказал Майклз. «Мы же видим его более ограниченное применение, поскольку видим, что он используется для отправки, по сути, мусорных сообщений об ошибках».
Компания
Immunefi, специализирующаяся на программах «bug bounty» в Web3-пространстве, запретила пользователям отправлять сообщения об ошибках с помощью ChatGPT с момента появления этой программы в открытом доступе. В одном из твитов, опубликованных компанией, был приведен скриншот запроса, в котором сам чатбот ChatGPT спрашивал, почему не стоит использовать его для отправки сообщений об ошибках, на что тот отвечал, что его результаты «могут быть неточными или неактуальными».
Поэтому, по словам Майклса, Immunefi немедленно запрещает пользователям отправлять сообщения об ошибках на основе ChatGPT. Причина, по его словам, заключается в том, что они часто выглядят достаточно хорошо написанными, чтобы быть убедительными с «точки зрения 3000 футов», но, как правило, они изобилуют недостатками, основанными на функциях, которых просто не существует.
Здесь ChatGPT рассказывает о том, почему не следует использовать ChatGPT для создания и отправки сообщений об ошибках.
Дополнительное напоминание о том, что отправка сообщений об ошибках ChatGPT на Immunefi приведет к тому, что вы будете забанены, так как результат никогда не будет точным и релевантным. pic.twitter.com/nOvVOmQVmG
— Immunefi (@immunefi) January 4, 2023
С момента своего появления в ноябре прошлого года ChatGPT страдает от непоследовательной точности некоторых материалов: от ложных обвинений в сексуальном насилии до ссылок на юридические прецеденты, не существующие в судебных документах.
OpenAI предостерегает пользователей от слепого доверия к GPT из-за его склонности предоставлять недостоверную или полностью неточную информацию, обычно называемую «галлюцинациями». Представитель OpenAI не ответил на запрос TCN о комментарии для этой статьи.
В отчете Immunefi сообщество «белых шляп» выразило мнение, что модели ChatGPT потребуют дополнительного обучения диагностике киберугроз или проведению аудита, поскольку в настоящее время они не обладают такими специальными знаниями.
Мичелс отметил, что сегодня чатбот страдает от отсутствия нужных наборов данных, и разработчикам пока следует полагаться на код, созданный вручную, чтобы подстраховаться. Однако он добавил, что в будущем может наступить день, когда ChatGPT или другие подобные ему инструменты генеративного ИИ смогут выполнять эти задачи более надежным способом.
«Возможно ли, чтобы ChatGPT совершенствовался и был специально обучен работе с хранилищами проектов и многим другим в мире блокчейна? Думаю, да», — сказал Майклз в интервью TCN. «Но я не думаю, что могу рекомендовать это сейчас, учитывая, насколько высоки ставки и насколько нова эта область».
