У многих казахстанцев появилось весьма модное увлечение – творческое общение с нейросетями. Эксперты утверждают, что с нейросетями правила безопасности те же, что и в интернете в целом. Нужно отдавать себе отчет, что именно вы им собираетесь прислать. Доподлинно неизвестно, хранят ли они архивы пользовательских запросов, обезличивают ли их и какова вероятность, что данные одного пользователя попадут в выдачу для другого. Потенциально это возможно, так как запросы могут использоваться для дополнения обучающего корпуса нейросети.
Поэтому, прежде чем отправлять в чат-бот свои личные данные (или любую другую конфиденциальную информацию), ответьте себе на два вопроса: что будет, если я потеряю эти данные навсегда? Что будет, если эти данные станут известны посторонним?
Как указывают эксперты, еще большей опасностью является возможность генерации программного кода, ориентированного на взлом информационных систем. Системы защиты в общем случае делятся на основанные на шаблонах и основанные на аномалиях. Первые выявляют вредоносный код подобно тому, как это делают системы типа «Антиплагиат». Нейрогенерированный текст не похож ни на какой другой и поэтому, не распознается в общем случае такими системами.
Сходным образом может быть сгенерирован программный код обхода защиты, непохожий на все предыдущие и, соответственно, неизвестный программам защиты сети.Системы, основанные на аномалиях, могли бы спасти ситуацию, но нейросеть способна обойти и их. Особенно неприятно то, что злоумышленник может смоделировать атакуемую систему у себя и, используя алгоритмы обучения с подкреплением, заранее настроить атаку. Разумеется, не стоят на месте и системы защиты. Нейросетевые анализаторы траффика могут выявлять вредоносный код даже в зашифрованном состоянии.
Всегда есть несколько общих рисков для любой системы с машинным обучением – это дискриминация на основе «черного ящика»: мы точно не знаем, какие параметры заложены в нейросеть при обучении, в результате, если использовать ответы чат-бота для оценки чего либо, то есть очень большой риск скрытых манипуляций, так что доверять оценку нейросети точно не стоит. Второй момент, который связан с той же проблемой — это приписывание нейросети свойств объективности. Уверенность в том, что нейросеть всегда права, очень легко можно использовать для проведения кибератак.
