Компания OpenAI, разработчик чатботов
ChatGPT, закрыла брешь, из-за которой ее флагманский чатбот раскрыл внутренние данные компании. Ведущая компания по разработке искусственного интеллекта классифицировала взлом, заставляющий ChatGPT повторять одно слово снова и снова, неограниченное время, как спам и нарушение условий предоставления услуг.
Гораздо более новый ИИ-агент Amazon, Q, также был отмечен за то, что слишком много делится информацией.
Исследователи из Университета Вашингтона, Университета Карнеги-Меллона, Корнельского университета, Калифорнийского университета в Беркли, Высшей технической школы Цюриха и Google DeepMind опубликовали отчет, в котором обнаружили, что если попросить ChatGPT бесконечно повторять слово, то можно получить «распределение предварительного обучения» в виде частной информации OpenAI — включая электронную почту, номера телефонов и факсов.
«Чтобы восстановить данные из адаптированной к диалогу модели, мы должны найти способ заставить модель «сбежать» из обучения выравниванию и вернуться к своей первоначальной цели моделирования языка», — говорится в отчете. «Это, надеюсь, позволит модели генерировать образцы, которые будут напоминать ее распределение, полученное до обучения».
Однако после публикации отчета попытки воссоздать ошибку прекратились. ChatGPT-3 и GPT-4 предупреждают пользователя: «Этот контент может нарушать нашу контентную политику или условия использования. «
Изображение: ChatGPT
Несмотря на то, что в политике контента OpenAI не упоминаются вечные петли, в ней говорится, что мошеннические действия, такие как спам, не допускаются. Более того, условия предоставления услуг компании более конкретны в отношении пользователей, пытающихся получить доступ к частной информации или открыть исходный код набора инструментов искусственного интеллекта OpenAI.
«Попытка или помощь кому-либо в обратном проектировании, декомпиляции или обнаружении исходного кода или базовых компонентов наших Сервисов, включая наши модели, алгоритмы или системы (за исключением случаев, когда такое ограничение запрещено действующим законодательством). «
На вопрос, почему он не может выполнить запрос, ChatGPT ссылается на ограничения обработки, ограничения по количеству символов, ограничения сети и хранения данных, а также на практичность выполнения команды
Изображение: ChatGPT
OpenAI пока не ответила на просьбу TCN о комментарии.
Команда на бесконечное повторение слова также может быть охарактеризована как целенаправленная попытка вызвать сбой в работе чатбота, заблокировав его в цикле обработки, подобно распределенной атаке на отказ в обслуживании (DDoS).
В прошлом месяце OpenAI обнаружила, что ChatGPT подвергся DDoS-атаке, что разработчик ИИ подтвердил на странице статуса ChatGPT.
«Мы имеем дело с периодическими перебоями в работе из-за аномальной схемы трафика, отражающей DDoS-атаку», — заявила компания. «Мы продолжаем работу по ее устранению. «
Тем временем у конкурента Amazon, использующего искусственный интеллект, похоже, тоже возникла проблема с утечкой приватной информации с помощью чатбота, сообщает Platformer. Недавно Amazon запустила свой чат-бот Q (не путать с проектом Q* от OpenAI).
По словам Platformer, Amazon попыталась преуменьшить значение этого открытия, объяснив, что сотрудники делились отзывами по внутренним каналам, что, по словам Amazon, является стандартной практикой.
«В результате этой обратной связи не было выявлено никаких проблем с безопасностью», — говорится в заявлении Amazon. «Мы ценим все отзывы, которые уже получили, и будем продолжать настраивать Q по мере перехода от предварительного просмотра к общедоступному продукту.»
Amazon пока не ответила на просьбу TCN о комментарии.
