Сервисы, предоставляющие возможность генерировать текст или изображения, могут стать мишенью для хакеров, желающих получить личные данные пользователей – это стоит помнить всем казахстанцам, работающим с нейросетями. Чем еще может грозить модное ныне увлечение самых различных людей?
Профильные эксперты назвали самые опасные угрозы, исходящие от нейросетей и чат-ботов. Поскольку основная задача чат-бота — давать естественные, а не достоверные ответы, он может не отличать правду от неправды, и выдавать вымышленные факты за реальные. В результате пользователь может получить недостоверную информацию и сделать ошибочные выводы.
Все существующие сегодня технологические решения по генерации текста или изображений (те же ChatGPT или Midjourney) представляют собой, по сути, сервисы, созданные «поверх» нейросетей. Именно такой формат взаимодействия с нейросетями и является ,одним из весомых факторов высокой их популярности.
Эксперты обращают внимание и на тот факт, что еще несколько лет назад для начала работы нужно было иметь хотя бы начальные знания в этой области и навык программирования. Сейчас же эти технологии доступны самому широкому кругу пользователей. В этой доступности и лежит источник потенциальных уязвимостей. Впрочем, они не слишком отличаются от тех, которые угрожают при совершении заказа в интернет-магазине или регистрации на сайте покупки билетов. Разница, пожалуй, только в объеме данных, которые пользователь передает сторонним сервисам, и которые затем могут быть использованы не по назначению или «слиты» третьим лицам.
Из официальных заявлений разработчиков известно, что модель СhatGPT 3.5/4.0 не обучается на новых данных и запросах. Однако проверить это невозможно, так как технологически структура полностью закрыта. А большие данные, генерируемые людьми — очень ценный ресурс для ИИ.
Буквально недавно эксперты в области ИИ и ИБ выявили новый тип угрозы, связанный с развитием ChatGPT как продукта — плагины. Через них люди встраивают функционал чат-бота в свои личные аккаунты в различных сервисах. Опасность использования плагинов с точки зрения кибербезопасности называется prompt injection. Суть ее в том, что некоторые запросы к нейросети, подключенной к какому-нибудь сервису, которые сформулированы определённым образом, создают критические уязвимости в контуре безопасности.
Такие атаки опасны тем, что «всезнающий» ИИ, если заставить его забыть ограничения, может, к примеру, снабдить пользователя опасными знаниями — условно, рецептом взрывчатки в домашних условиях. Но для конечного пользователя опаснее так называемые «галлюцинации» ИИ, когда нейросеть по какой-то причине с уверенностью генерирует несуществующие факты. Пользователь априори верит написанному, ведь ИИ «никогда не врет», и может продолжить распространять фейк. А чем больше такой фейк вирусится в интернете, тем больше вероятность, что следующая версия ИИ, обучаясь на открытом корпусе текстов в сети, примет его за правду (ведь упоминание встречается часто) и продолжит утверждать это в следующих ответах.
Наконец, информация из нейросетей может использоваться в мошеннических целях. В Китае уже был случай уголовного преследования за распространение фейковых новостей, сгенерированных ChatGPT. Легко представить, что ИИ могут использовать для информационных атак — генерировать правдоподобные сообщения, скажем, о катастрофах, военных действиях и т. п., подкрепляя тексты и искусственно созданными изображениями.
