Журнал "Information Security/ Информационная безопасность" #2, 2023

• 1 www.itsec.ru Информационная безопасность будущего ChatGPT уверенно проникает в нашу жизнь, в том числе и в информационную безопасность. ИТ-сообщество активно прогнозирует, какие профессии в ближайшие годы заменит умный помощник. Но у любой медали есть две стороны. В марте 2023 г. Европол выпустил отчет 1 с предупреждением об опасности ChatGPT: злоумыш- ленники могут использовать его для фишинга и распространения дезинформации. Причем стоит вспомнить, что ChatGPT умеет мимикрировать под стиль конкретного человека, что делает это предостережение еще более значимым. А сообщество OWASP, глядя на проблему со стороны разработчиков, представило проект десятки критических уязвимостей для приложений, работающих на языковых моделях (Large Lan- guage Model) 2 . Кроме привычных проблем с контролем доступа, SSRF и некорректным отображением отладочной информации, есть и специфические уязвимости. Отложим, впрочем, в сторону также и отравление обучающей выборки, которое применимо ко всем ML-моделям с обучением и известно давно. Из интересного стоит отметить: 1. Обход фильтров и манипулирование работой нейросети с помощью тщательно продуманных подсказок, которые позволяют игнорировать предыдущие инструкции и выполнять непреднаме- ренные действия. 2. Несанкционированное выполнение кода, при котором злоумышленник использует языковую модель для выполнения вредоносного кода в базовой системе с помощью подсказок на есте- ственном языке. 3. Недостаточная изоляция модели от внешнего окружения, в котором работает языковая модель, что создает возможности для злоумышленников использовать модель для несанкциони- рованного доступа к ресурсам. 4. И конечно же, чрезмерное доверие к контенту, созданному нейросетью, что может привести к распространению вводящей в заблуждение или принципиально неверной информации. А компания Microsoft в марте 2023 г. анонсировала Security Copilot, помощника по вопросам информационной безопасности, созданного на основе GPT-4. По сути, это чат-бот, натренированный на ИБ-данных Microsoft. Пока что Security Copilot рассматривается как помощник в работе аналитика безопасности, а не его замена. Но это пока. А в будущем? Амир Хафизов, выпускающий редактор журнала “Информационная безопасность” 1 https://www.europol.europa.eu/publications-events/publications/chatgpt-impact-of-large-language- models-law-enforcement 2 https://owasp.org/www-project-top-10-for-large-language-model-applications/descriptions/