«Информация потом может быть использована против вас»: учёный — о кибербезопасности и рисках использования ИИ в бизнесе

— Нейросетевые технологии стремительно развиваются и находят всё большее применение. Какие у этого явления есть негативные стороны?

— Рисков здесь действительно много. Самый очевидный — мошенничество. ИИ убедительно имитирует речь человека, поэтому с помощью нейросетей злоумышленники автоматизируют общение с жертвами, создают реалистичные видео и фото, подделывают документы, пытаются обмануть биометрию.

Также нельзя не упомянуть возможное военное применение ИИ. По аналогии с ядерными технологиями, которые вместе с энергетикой и медициной породили ядерное оружие, искусственный интеллект может использоваться в оборонной сфере. А это огромные риски. Тем более что подробности таких проектов, как правило, засекречены.

Кроме того, существуют и экономические риски. Сегодня в ИИ вкладываются триллионные инвестиции. Когда такие средства направляются в технологию, она неизбежно начинает влиять на глобальные процессы. Однако при этом многие проекты становятся убыточными. Стоимость подписки на сервисы не окупает ресурсы, которые тратятся на их работу. И это тоже может иметь негативные последствия для экономики в будущем.

— Большинство компаний сегодня стараются внедрять в работу ИИ. Какие это влечёт риски для кибербезопасности?

— Здесь многое зависит от того, как именно внедряют технологии. Вообще, специалисты по информационной безопасности умеют выстраивать закрытые контуры, минимизируя риски конкретных атак. Но это дорого, и большинство компаний при внедрении искусственного интеллекта об этом не задумываются.

• Gettyimages.ru
• © yokaew

С появлением ИИ возник и отдельный класс специфических угроз. Речь идёт о специальных атаках на сами модели. Это не классический хакерский взлом, а исследование уязвимости модели. Например, если человек нанесёт на одежду специальный визуальный паттерн, который «сводит с ума» систему распознавания лиц, то его не засекут видеокамеры. И подобных сценариев немало, хакеры работают над поиском уязвимых мест ИИ.

— Насколько сегодня распространены хакерские атаки на большие модели ИИ?

— Атаки действительно происходят, однако они сильно отличаются от классических взломов. Сегодня методы стали более сложными и изощрёнными, поскольку модели очень быстро развиваются. Один из вариантов — попытка повлиять на поведение модели, например дообучить её формированию нужных злоумышленнику ответов. Это называется «отравление данных» (data poisoning), когда работа алгоритма нарушается из-за внесения ложной информации. Кроме того, есть понятие «промпт-инъекции» (prompt injection) — когда, составляя запрос специальным образом, злоумышленник может манипулировать поведением ИИ.

Второй способ — использование самой модели как инструмента для создания вредоносного кода или вируса.

— Почти все компании активно внедряют в работу ИИ-инструменты. Конечно, при этом не обходится без загрузки в чат-боты корпоративных данных. С какими рисками это сопряжено? 

— Надо понимать: если вы передаёте сведения, имеющие хоть какую-то ценность, внешнему сервису, они перестают быть вашими. Информация потом может быть использована против вас, к примеру, вашими конкурентами. 

Многие сервисы заявляют об анонимности или отказе от хранения данных, однако некоторые при этом прямо указывают на то, что информация может быть использована для обучения моделей. Это означает, что она всё же сохраняется и впоследствии анализируется. И конечно, есть методы извлечения данных из обученных нейросетей. Они довольно сложные и затратные, но всё же позволяют реконструировать контент, на котором обучалась модель.

• Gettyimages.ru
• © Morsa Images

— Помогает ли избежать рисков развёртывание локальных нейросетей, которые работают непосредственно на компьютере пользователя или корпоративном сервере?

— Да, локальное развёртывание помогает снизить риск утечки. Если модель установлена внутри закрытого контура и не имеет соединения с внешними сетями, то данные не покинут инфраструктуру компании. Обновление такой модели происходит без передачи данных наружу. То есть в таком случае технически можно полностью исключить внешнюю связь, если всё правильно реализовано. Однако это, опять же, очень дорого.

Но если компания действительно заботится о своих данных, ей необходимо создать мощную систему киберзащиты. При работе с конфиденциальной информацией без защищённых контуров, к сожалению, не обойтись. 

— Уже сформировалось понятие «теневой ИИ» — когда сотрудники компаний из благих побуждений используют нейросети, но не учитывают аспекты безопасности и конфиденциальности. Что можно сделать, чтобы снизить риски утечки данных в таких условиях?

— Риски так называемого теневого ИИ относятся к сфере информационной безопасности. Меры противодействия здесь во многом классические. Во-первых, нужно установить технические ограничения, чтобы с рабочего компьютера нельзя было передавать данные во внешние сервисы.

Во-вторых, важна организационная работа. Нужно сформировать чёткую политику безопасности использования ИИ внутри компании.

• Gettyimages.ru
• © Edwin Tan

— Можно ли снизить риск утечки, если загружать документ не целиком, а передавая данные по частям? Например, отправляя отдельные показатели или таблицы. Способна ли нейросеть сопоставить разрозненные фрагменты информации и восстановить цельную картину?

— Да, способна. Существуют технологии, которые как раз построены на том, чтобы из отдельных фрагментов данных собирать целостную картинку о человеке или компании.

— Какие данные не стоит ни при каких условиях заливать в чат-боты?

— В первую очередь ни в коем случае нельзя загружать изображения или сканы своих персональных документов. Передавать чат-боту паспорт или другие документы, удостоверяющие личность, — это огромный риск, который может обернуться серьёзными последствиями. Вообще не стоит передавать ничего личного. 

Для компаний правило то же самое. Не следует заливать информацию, которая предназначена лишь для внутреннего использования или относится к коммерческой тайне. Если информация и так находится в открытом доступе, то, конечно, её передача чат-боту ничем не грозит.

• Сгенерировано с помощью ИИ

— Сейчас многие эксперты пишут, что технологическая сингулярность, когда ИИ сможет развиваться без участия человека, наступит намного быстрее, чем ожидалось. Илон Маск вообще считает, что это произойдёт уже в этом году. Что из этих прогнозов маркетинг, а что правда?

— Значительная часть таких прогнозов скорее относится к пиару. С научной точки зрения ИИ, безусловно, развивается, но постепенно. Современные крупные модели, такие как ChatGPT, демонстрируют впечатляющие возможности, но их развитие носит экстенсивный характер, поскольку для их улучшения требуются огромные ресурсы. Не говоря о том, что пока не предвидится скачка в развитии технологии, который позволил бы моделям мыслить и рассуждать как человек. 

Да, нейросети обрабатывают огромные объёмы данных, но это ведь не полноценное человеческое мышление. ИИ облегчает работу учёных и специалистов, например ускоряет вычитку документов или помогает генерировать код. Но человеку всё равно приходится самостоятельно дорабатывать любой сгенерированный нейросетями контент. Так что говорить о скорой технологической сингулярности не приходится.