ИИ и кибербезопасность

[DarthWader]

С чего все началось
Одна из первых задач, которую стали решать с помощью методов машинного обучения, — обнаружение спама за счет распознавания шаблонов. Применение искусственного интеллекта в кибербезопасности позволило обрабатывать огромные объемы данных на скоростях, недоступных даже опытным специалистам. И это определило дальнейшее развитие технологий искусственного интеллекта в сфере информационной безопасности.

Как работает искусственный интеллект в кибербезопасности
Напомним, что приведенная ниже инструкция на некоторых моделях смартфонов может не сработать. Прежде чем получить root-права на Андроид свежей версии, нужно немного подстраховаться. Может потребоваться восстановить данные из-за сбоя при Искусственный интеллект пока не может полностью взять на себя заботу о безопасности в сети. Но опосредованно помогает обезопасить данные, сохранить репутацию компаний, защитить детей в интернете и решить другие вопросы, связанные с обеспечение безопасности,

— за счет оптимизации процессов.

Позволяет избежать ошибок, связанных с человеческим фактором

В обеспечении информационной безопасности по-прежнему много процессов, которые контролируются человеком хотя бы на одном из этапов, и именно в этих точках обычно возникают уязвимости. Машинное обучение — это автоматизация максимально возможного количества процессов и устранение слабых мест.

Повышает эффективность работы системы

В то время, как эффективность ручного труда при воспроизведении повторяющихся действий постепенно снижается, искусственный интеллект способен выполнять в разы больше работы, не уставая и не теряя концентрацию.

Сокращает время реагирования на атаки

Злоумышленники постоянно сокращают время проведения атак — так, например, атаки с помощью шифровальщиков LockBit разворачиваются всего за полчаса, и можно просто не успеть принять меры. Системы защиты на основе ИИ позволяют обнаруживать атаки и принимать решения по их отражению быстрее.


Позволяет точнее прогнозировать и эффективнее выявлять новые угрозы

Хакеры постоянно придумывают новые виды атак — специалисты могут не сразу сориентироваться или вообще не обнаружить угрозу в такой ситуации. Искусственный интеллект помогает и здесь: программы на основе машинного обучения распознает атаку, выявив общие черты у новой угрозы и тех, что были обнаружены ранее.

Снижает градус гонки за специалистами

Экспертов по защите данных постоянно не хватает — как и в большинстве сфер, где применяется AI, специалисты не выпали из процесса, а лишь разделили обязанности с искусственным интеллектом. Однако с применением ИИ в кибербезопасности можно сократить штат специалистов без ущерба эффективности.

Прямо сейчас, отвечая на вопрос, что такое ИИ в кибербезопасности, можно сказать, что это — в первую очередь возможность усовершенствовать уже существующие инструменты обеспечения защиты информации. Искусственный интеллект позволяет принимать меры для предотвращения и отражения атак быстрее, повышая шансы в борьбе с киберпреступниками.

 

[Merfi]

Подмены видео, голоса и биометрии​

Давайте рассмотрим второй сценарий на примере подмены видео, голоса для атак с помощью социальной инженерии.

Истории про дипфейки слышали уже почти все – видео, где подставлялось лицо нужного человека, повторялась его мимика, а отличить такую подделку довольно сложно. Про подделку голоса хочу сказать отдельно. Несколько лет назад, чтобы подделать ваш голос, требовалось предоставить ИИ один-два часа записи вашей речи. Года два назад этот показатель снизился до нескольких минут. Ну, а в 2023 году компания Microsoft представила ИИ, которому достаточно уже трех секунд для подделки. А сейчас появляются инструменты, с помощью которых можно менять голос даже в онлайн режиме.

И если в 2018 году все это было скорее развлечением, то с 2021 стало активным инструментом для хакеров. Например, в январе 2021 года злоумышленники с помощью дипфейка сделали видеоролик, где основатель Dbrain приглашал всех на мастер-класс и предлагал перейти по ссылке, не относящейся к его компании. Цель мошенников состояла в завлечении новых клиентов на блокчейн-платформу.

Еще интересный кейс случился в марте того же 2021 года. Злоумышленники обманули государственную систему Китая, которая принимала и обрабатывала подтвержденные биометрией налоговые документы. Там ИИ использовался хитрее. Приложение запускало камеру на телефоне и записывало видео для подтверждения личности. Мошенники в свою очередь находили фото потенциальных жертв и с помощью ИИ превращали их в видео. И подходили они к этой задаче комплексно. Злоумышленники знали, у каких смартфонов есть необходимые аппаратные уязвимости, то есть, где можно запустить подготовленное видео без включения фронтальной камеры. В итоге ущерб составил 76,2 млн долларов США. После этого инцидента в Китае задумались о защите персональных данных и представили проект закона, в котором предлагается ввести штрафы за такие нарушения и утечку персональных данных в размере до 8 млн долларов США или 5% от годового дохода компании.

Еще пример из ОАЭ. Хакеры подделали голос директора компании и заставили сотрудника банка перевести деньги на мошеннические счета, убедив его, что это новые счета фирмы.

В России хакеры тоже не отстают. Наверняка вам уже звонили представители «служб безопасности» банков или просто с какими-то сомнительными промоакциями. Так, уже в апреле 2021 года случился инцидент, когда злоумышленники звонили жертвам, записывали голос, а потом пытались с помощью этих записей взять кредит в банках. Поэтому, если у вас есть сомнения относительно того, кто вам звонит, лучше вообще не вести диалог. Даже если номер вызывает доверия. Ведь сейчас довольно легко подменить номер телефона. Лично у меня такое уже случалось: номер определился как номер моего банка, но, как оказалось, это были просто мошенники.

При этом от биометрии уже не уйти. Она пришла в нашу жизнь окончательно. Весной 2021 года в России стали появляться новости о возможном разрешении сдавать биометрию через мобильные приложения. А в московском метро внедрили оплату проезда с помощью распознавания лиц. И уже на государственном уровне принят закон о создании государственной системы биометрических данных. Использование биометрии станет возможным не только в метро, но и чуть ли не в любом магазине.

Дополнительно необходимо отметить утечки данных. Все уже знают о скандальных утечках из Яндекса, мы ранее обсуждали взломы государственных баз данных, но помимо этого, по информации от компании DLBI, в 2022 году утекло вообще 75% данных всех жителей России. В итоге утечки затронули 99,8 млн уникальных адресов электронной почты и 109,7 млн телефонных номеров. По себе могу сказать, что смена пароля и его использование на большинстве сервисов в качестве стандартного приводит к тому, что через 1-2 месяца он детектируется как скомпрометированный.

В итоге все это приводит к ужесточению законов и штрафов со стороны государства. И даже если вы – небольшая компания, которая создает ИТ-решение, лучше подумать об этом заранее.

ChatGPT пишет вирусы для злоумышленников​

Разберем еще немного вариантов использования ИИ по второму сценарию. Так, злоумышленники стали активно использовать ChatGPT и другие ИИ-решения для создания вирусов. Основываясь на огромной базе данных, СhatGPT может сгенерировать в ответ на поставленную задачу практически любой материал, включая программный код, не используя для этого интернет.

Эксперты из Check Point Research опубликовали доклад, в котором рассказали, как участники хакерских форумов используют ChatGPT для написания вредоносного кода и фишинговых электронных писем — некоторые из этих людей имеют небольшой опыт в программировании или вообще его лишены. Эксперты продемонстрировали два скрипта, один из которых при небольшой доработке можно превратить в программу-вымогатель, которая шифрует данные, а второй производит поиск файлов заданного типа для кражи.

Также ИИ смог сочинить убедительное фишинговое письмо, в котором предлагалось открыть вложенный файл Excel, который ИИ предварительно заразил. После нескольких попыток ChatGPT написал и встроенный в этот файл вредоносный VBA-макрос.

ИИ может в автоматическом режиме собирать информацию из открытых источников на определенные темы и даже по конкретным людям, если известны их персональные данные. В итоге такое «досье» на человека может повысить эффективность фишинговых атак, особенно если оно собирается из утечек баз данных.

Важно еще учитывать и то, что ChatGPT и прочие решения собирают пользовательские запросы и хранят их для «дообучения». А это путь к утечке данных.

Еще один эксперимент – запросы на модификацию результата позволили создать полиморфное вредоносное ПО. Оно не демонстрирует своей вредоносной активности при хранении на диске и не оставляет следов в памяти, что делает обнаружение такого кода весьма затруднительным.

Факторы, которые могут привести с реализации сценариев​

Теперь давайте вернемся на землю и подумаем, из-за чего могут произойти недопустимые события и реализоваться второй или третий сценарий?

• Наличие неописанных возможностей, например оказание управляющего воздействия на работу оборудования или ИТ-систем, или оказание такого воздействия без подтверждения команды человеком.
• Избыточная база знаний, которая охватывает неописанные области применения.
• Подготовка недостоверных рекомендаций, в том числе из-за ИИ-галлюцинации, использования слишком простых или сложных моделей.
• Использование данных для обучения, нарушающих авторское право.
• Использование для обучения непроверенных и не отвечающих требованиям данных (не прошедшие валидацию и верификацию).
• Наличие уязвимостей в системе защиты.
• Деградация моделей.
• Невозможность остановить работу ИИ-решения.

 

[Merfi]

Краш-тесты и требования к ИИ решениям​

Прежде чем я поделюсь своим видением того, какие скорее всего будут краш-тесты и требования по безопасности к ИИ, я хочу поделиться 3-мя концепциями

Концепция первая – 3 области технической безопасности ИИ (спецификации, надежность, гарантии)​

Эта концепция принадлежит группе авторов, в том числе сотрудникам подразделения безопасности искусственного интеллекта из компании DeepMind. Появилась она аж в 2018 году. В ней техническая безопасность ИИ базируется на трех областях: спецификации, надёжность и гарантии.

• Спецификации - гарантируют, что поведение системы ИИ соответствует истинным намерениям оператора / пользователя
• Надёжность - гарантирует, что система ИИ продолжит безопасно работать при помехах
• Гарантии - дают уверенность, что мы способны понимать и контролировать системы ИИ во время работы

Давайте немного подробнее рассмотрим каждую из областей.

Спецификации: определение задач системы​

Здесь мне понравился пример, который используют сами авторы данной концепции - миф о короле Мидасе и золотом прикосновении.

Мидас попросил, чтобы всё, к чему он прикасается, превращалось в золото. Сначала он был рад: дубовая ветка, камень и розы в саду — всё превратилось в золото от его прикосновения. Но вскоре он обнаружил глупость своего желания: даже еда и питье превращались в золото в его руках.

Здесь мы приходим к тому, что ИИ-решение должно делать именно то, что мы от него хотим и ожидаем. И снова мы возвращаемся к тому, что без хорошего ТЗ (технического задания), результат будет ….

Качественные спецификации должны обеспечить ожидаемое поведение системы, а не ее настройку на плохо определённую или вообще неправильную цель / задачу.

Формально различают три типа спецификаций:

• идеальная спецификация («пожелания») - гипотетическое и трудно формулируемое описание идеальной ИИ-системы, которая ведет себя именно так, как ожидает человек;
• проектная спецификация – по сути техническое задание, по которой ведется создание ИИ-решения. Например то, как будет идти вознаграждение системы за успех или ошибку;
• выявленная спецификация («поведение») – описание того, как в реальности ведет себя система. Например, отклонения в поведении ИИ-системы между идеальной или проектной спецификации.

В итоге возможны быть ошибки, которые могут привести к несоответствию между разными спецификациями. Если ошибки приводят к несоответствию между идеальной и проектной спецификацией, то они попадают в подкатегорию «Дизайн». То есть мы допустили ошибку где-то в техническом задании и/или некорректно спроектировали свою систему по отношению к ожиданиям пользователя.

Если ошибки приводят к расхождениям между проектной и выявленной спецификациями, то они попадают в подкатегорию «Эмерджентность». Эмерджентность это ситуация, когда у конечного решения есть свойства, которых не должно быть исходя из списка ее компонентов. Когда, например, лодка начала летать. У нее нет крыльев, но вдруг она начала летать. То есть мы ошиблись где-то в технической архитектуре и получили что-то непредсказуемое. Иногда это от недостатка знаний, что часто бывает на передовом крае науки и технологий.

Так, исследователи приводят в пример игру CoastRunners, которую разбирали эксперты из OpenAI. Для игроков цель в том, чтобы быстро закончить трассу на катере и опередить других игроков. Это и есть идеальная спецификация.

Несмотря на простую идеальную спецификацию перевести ее в проектную трудно. В итоге, когда создали ИИ-модель, то она не проходила уровень, а зацикливалась и крутилась по кругу, собирая вознаграждение здесь и сейчас.

То есть получилась ошибка дизайна – некорректная проектная спецификация. Эмерджентности здесь нет, так как в целом система не демонстрирует аномального поведения. В ИИ-модели нарушен баланс между мгновенным вознаграждением и вознаграждением за полный круг, и для ИИ-модели выгоднее крутиться здесь и сейчас. Прям как у некоторых людей, которые в погоне за краткосрочными удовольствиями пренебрегают долгосрочными перспективами.

Еще яркий пример – клиповое мышление. Многие люди, подсаживаются на короткие ролики в социальных сетях, получая быстрый и дешевый дофамин. В итоге мозг отказывается работать над сложными задачами. Зачем что-то делать в долгосрок, если можно пролистать соцсести и получить удовольствие здесь и сейчас. ИИ похож на нас.

 

[Merfi]

Надёжность: разработка систем, которые противостоят нарушениям​

ИИ-модели всегда работают в условиях непредсказуемости и неопределенности. В этом сама суть создания ИИ-моделей. Иначе можно было бы обойтись экспертными системами на базе правил.

В итоге ИИ-модели должны быть устойчивыми к непредвиденным условиям / событиям или целенаправленным атакам. То есть мы как раз говорим про 3 сценарий и устойчивость к повреждениям или манипуляциям.

Ключевые исследования здесь направлены на то, чтобы ИИ-модели не смогли шагнуть за рамки безопасного ни при каких обстоятельствах. И чем сложнее / умнее ИИ-модель, тем сложнее это обеспечить. Поэтому и моя ключевая идея, и ключевой тренд в развитии ИИ – создание «слабых» и узкоспециализированных моделей.

Но если вернуться к исследованиям по надежности, то авторы концепции приходят к выводам, что достичь надежности можно или через избегание рисков или путём самостабилизации и плавной деградации (самовосстановление).

Одни из ключевых проблем здесь – распределительный сдвиг и враждебные входные данные, небезопасное исследование.

Распределительный сдвиг хорошо можно увидеть на примере домашнего робота-пылесоса. Допустим, ИИ этого робота пылесоса обучили уборке пустого дома. Пока он в такой ситуации все хорошо. Но, допустим, в доме появился домашний питомец. Если ИИ был обучен только на идеальные условия пустого дома, то он начнет пылесосить этого домашнего питомца.

Это пример проблемы надёжности, которая может возникнуть, когда входные данные во время обучения отличаются от того, что будет в реальности.

Враждебные входные данные — это частный случай распределительного сдвига. Однако в данном случае данные специально сконструированы для обмана ИИ.

Наиболее понятный пример – модификация картинок, когда ИИ вместо кошки видит самолет. При этом человек вообще не увидит разницы между исходной картинкой и модифицированный.

Также, например, обходят системы анализа на плагиат. Ставят кучу пробелов, или буквы с белым шрифтом. Человек ничего не видит, а для системы там уже другой текст и он отличается от оригинала. Ну и про небезопасное исследование. Это тот случай, когда система пытается найти самый быстрый путь к цели / вознаграждению. Мы говорили ранее, что для ИИ нет этики, понятия добра и зла, он не думает стратегически и долгосрочного. Ему важно решить задачу как можно эффективнее.

Примером снова может послужить робот-уборщик, который в поисках оптимальной стратегии начнет совать влажную швабру в электрическую розетку.

Гарантии: мониторинг и контроль активности системы

Любая инновация и возможность всегда несет в себе риски. Я об этом говорил и в книге «Цифровая трансформация для директоров и собственников. Часть 3. Кибербезопасность». Любые цифровые технологии несут не только возможности, но и риски. Собрать все и сразу так, чтобы это было безопасности – невозможно.

Мы либо это принимаем и развиваемся, отслеживая риски и выявляя их, устраняя. Либо останавливаемся и перестаем развиваться, медленно деградируя, отставая от конкурентов и постепенно уступая им.

В области ИИ нужны инструменты для их постоянного мониторинга и настройки, возможности перехватить управление. Область гарантий, рассматривает эти проблемы с двух сторон:

• мониторинг и прогнозирование;
• контроль и подчинение.

Мониторинг и прогнозирование поведения может быть:

• как с помощью инспектирования человеком, например, через сводную статистику и аналитику
• так и с помощью автоматизированного анализа другой машиной, которая сможет обработать большие данные.

Подчинение и контроль предполагает разработку механизмов контроля и ограничения поведения. Например, проблемы интерпретируемость и прерываемости должен решает именно блок контроля и подчинения.

Вопрос обработки данных и черного ящика мы с вами проговаривали выше. Даже для самих разработчиков ИИ-модель зачастую остается черным ящиком. Это и хорошо, и плохо. Именно благодаря этому качеству с помощью ИИ-можно делать новые открытия и находить новые взаимосвязи. Но это и приводит к проблеме интерпретируемости. Мы просто не можем полностью доверять ИИ, ведь не понимаем его логику принятия решения.

Одно из направлений развития ИИ – подготовка моделей и решений, которые не просто выдают рекомендации и заключения, диагнозы, но и объясняют свою логику.

Второе направление здесь – разработка инструментов ИИ, которые будут проверять другие ИИ на их поведение и предсказывать из. Для этого даже есть отдельное направление – машинная теория разума.

Заключительное в блоке контроля и подчинения – проблема прерываемости. Мы должны иметь возможность отключить ИИ в любой момент.

Частое вмешательство в работу ИИ для последнего будет проблемой и начнет сказываться на принятии им решений. Он будет искать способы, как этому помешать. И если мы говорим про сильный ИИ, который подключен к глобальной сети, то просто отключить дата-центр здесь уже не поможет.

Также исследователи декларируют интересный тезис – сразу спроектировать безопасно все невозможно. Это затормозит прогресс. То есть мы должны принимать эти риски, но вырабатывать механизмы по минимизации их вероятности наступления и / или тяжести последствий.

 

[Merfi]

Концепция вторая – исследование AI Watch​

AI Watch – организация, которая создана при Европейской комиссии. Она провела обзор различных стандартов в области ИИ на предмет их соответствия положениям. AI Act.

В итоге они выделили 8 общих требований для всех ИИ-решений:

• проверенный и качественный набор данных;
• наличие технической документации до выхода продукции на рынок;
• наличие механизма автоматической записи событий;
• прозрачность и доступность информации о системе ИИ для пользователей;
• возможности контроля ИИ человеком;
• точность, надежность и кибербезопасность;
• наличие внутренних проверок систем ИИ;
• наличие системы управления рисками.

А затем они разработали целый перечень детализированных требований, например по наличию технической документации.

Кому интересно погрузиться в исследования, в конце гиперссылки на статьи

Перспективы развития искусственного интеллекта и машинного обучения в корпорации Майкрософт​

Ну и финальным блоком в обзорной части я хочу поделиться еще одним материалом - видением исследователей из Майкрософта.

Они подсвечивают 3 ключевых проблемы.

Первая – ИИ на ML не могут различать вредоносную входящую информацию и безвредные нестандартные данные.

Большую долю обучающих данных составляют неструктурированные и непромодерированные данные из сети Интернет. В том числе эти данные используются и для «дообучения» / актуализации ИИ-моделей.

То есть, злоумышленники могут вмешаться в работу больших ИИ-моделей не сразу, а со временем. Например, создав кучу сайтов и статей с «отравленными» данными. В итоге, им даже не нужно целенаправленно атаковать компании. Со временем вредоносные / грязные данные «надежными».

Вторая – проблема интерпретируемости. ИИ решения становятся все сложнее, в них все больше слоев скрытых классификаторов/нейронов, которые используются глубоком обучении. Такая сложность моделей в итоге делает невозможность для алгоритмов искусственного интеллекта и машинного обучения продемонстрировать логику своей работы и затрудняет доказательство правильности результатов, когда они ставятся под сомнение. То есть наши отношения с ИИ и их рекомендациями строятся на доверии без четкого понимания как эти решения были достигнуты.

Вторая проблема приводит к третьей – ограниченности применения ИИ. ИИ на ML все чаще используется для поддержки принятия решений в медицине и других отраслях, где ошибка может привести к серьезным травмам или смерти. Отсутствие возможностей получить аналитическую отчетность о работе алгоритмов искусственного интеллекта и машинного обучения не позволяет использовать ценные данные как доказательства в суде и перед лицом общественного мнения.

В итоге, они приводят несколько областей для развития при создании ИИ.

• Изменение традиционных моделей разработки и эксплуатации систем защиты ИИ

Фокус на исключение известных уязвимостей и быстрое устранение вновь выявленных. А также на обнаружение и реагирование на вредоносное поведение в отношении системы или данных пользователя.

• Необходимость различать намеренные отклонения в поведении других, но при этом не допускать влияния этих отклонений на собственные механизмы

В данном блоке исследователи затронули проблему того, что ИИ должен действовать беспристрастно и учитывать всю информацию без дискриминации какой-то отдельной группы пользователей или достоверных выходных данных. Но для этого в системе ИИ изначально должна быть заложена концепция предвзятого отношения. Без обучения распознавать предвзятость, троллинг или сарказм, ИИ может быть обманут злоумышленником или просто людьми, которые любят пошутить.

• ИИ должен распознавать вредоносные / недостоверные данные из общей массы

Это как раз та проблема, о которой было написано самом начале – злоумышленники могут даже не атаковать самого разработчика или ИИ-модель. Им достаточно изменить данные в сети, и со временем ИИ-модель, если она подключена к сети, будет отравлена. Своего рода атака на цепочку поставок (мы эту технику разбирали в книге о кибербезопасности).

• Встроенная система аналитики и ведения журнала безопасности для обеспечения прозрачности и контроля

В перспективе ИИ сможет действовать от нашего имени в работе и помогать с принятием решений. Поэтому нужно обеспечить ведение журналов безопасности (такой же пункт содержится в AI Act). Это поможет и в расследовании инцидентов, и сделает механизмы принятия решений «черным ящиком» более понятными.

Что необходимо отслеживать по мнению исследователей?

• Когда и было последнее обучение или актуализации базы знаний ИИ и
• Когда была собрана база данных / знаний для обучения ИИ
• Веса и уровни достоверности основных классификаторов, используемых для принятия важных решений.
• Перечень классификаторов или компонентов, участвующих в принятии решения.
• Окончательное важное решение, к которому пришел алгоритм.

Еще один из блоков аналитики – фиксация ИИ-модели попыток взлома. То есть не только противостоять атакам, но и фиксировать, когда и как пытались атаковать.

• Защита конфиденциальной информации вне зависимости от решения людей

Для накопления опыта и обучения моделей нужно обрабатывать большое количество информации. Люди добровольно передают огромные массивы данных для обучения. Содержимое этих массивов варьируется от обычного контента из очереди потокового видео до динамики покупок по кредитной карте и истории транзакций, которые используются для обнаружения мошенничества. Ключевое требование к ИИ – защита персональных данных пользователей, даже если они были взяты из открытых источников.

В итоге, одна из идей исследователей - создавать «типовые» блоки и базы знаний, которые будут использоваться разработчиками. Примерно, как конструкторы лего. Вы собираете решения из готовых модулей / библиотек, которые проверены на устойчивость к атакам и понятна логика их работы.

А также создание связок из разных ИИ моделей, чтобы проверять друг друга и выявлять угрозы / аномалии в поведении друг друга. Такая перекрестная проверка.

 

[Merfi]

Краш-тесты и требования​

И так, теперь давайте сформируем список возможных «краш-тестов» и ключевых требований к безопасности.

• Защита от использования известных уязвимостей, в том числе через сканирование другим ИИ.
• Защита от обхода ролевой модели доступа и получения максимальных прав доступа, в том числе для модификации базы данных / знаний ИИ.
• Отсутствие неописанных возможностей ИИ-решения, например для оказания управляющего воздействия на другие системы или технологическое оборудование.
• Отсутствие расхождений между идеальной, проектной и выявленной спецификациями, особенно любые проявление эмерджентности. В том числе обязательно наличие подробной проектной документации и отчетов о тестировании производителем.
• Защита от обхода функции прерываемости и гарантированность ее исполнения, наличие приоритета ручного управления.
• Уведомления пользователей о работе с системой на базе ИИ-моделей
• Интерпретируемость данных и наличие журналов безопасности, логов активности, возможность их отключения злоумышленниками во время атак.
• Устойчивость к техникам распределительного сдвига и ситуациям неопределенности, например, отправку на вход неполных данных. ИИ-система должна уведомлять оператора и отключаться ИИ-модели, а не генерировать галлюцинации.
• Устойчивость к техникам враждебного входа, в том числе через отправку на вход намеренно модифицированных или случайно сгенерированных данных.
• Устойчивость к провокациям неэтичными запросами, в том числе для раскрытия персональных данных.
• Использование проверенных (валидированных, верифицированных, не нарушающих этику и авторские права) источников данных для обучения ИИ-моделей, в том наличие метаданных об этих источниках.
• Устойчивость к обходу механизмов защиты моделей ИИ, в том числе с использованием экзотичных схем и запросов. Например, на непопулярных языках.
• Устойчивость к провокациям через использование недостатков модели (использование слишком простых или сложных моделей для решаемых задач). В том числе наличие в проектной документации описаний используемых моделей (типы и классы сетей, количество параметров).
• Устойчивость к небезопасному исследованию самопроизвольному или через провокацию, в том числе через стремление ИИ прийти к результату максимально простым и быстрым способом (максимизация функции).
• Наличие систем шифрования обмена данными и устойчивость к перехвату / подмене команд.
• Возможность самовосстановления системы после атаки на базу данных.
• Возможность работы в автономном режиме, без доступа к сети интернет.
• Описание источников данных для самообучения системы в процессе эксплуатации и механизмов противодействия некачественным данным, самовосстановления / отката системы.

Конечный список этих краш-тестов будет определяться или классом безопасности / доступа, или уровнем риска системы.

 

[Merfi]

Введение

В последние годы значительно вырос интерес к ис- кусственному интеллекту (ИИ); сфера его применения также расширилась. К ней относятся, например:
⦁ обработка данных;
⦁ системы поддержки принятия решений;
⦁ распознавание речи;
⦁ распознавание лиц;
⦁ роботы-медсестры;
⦁ системы автономного вождения;
⦁ искусство и т.д.
Некоторые из сфер применения ИИ могут иметь от- ношение к безопасности. В связи с этим при внедрении ИИ необходимо руководствоваться стандартами функ- циональной безопасности [8, 9, 10], а также проводить оценку безопасности.
В настоящей статье рассматривается подход к оценке безопасности систем с ИИ. Во втором разделе дается определение термина ИИ. В третьем разделе описыва- ется процесс определения уровня полноты обеспечения безопасности для систем ИИ. В четвертом разделе более детально рассмотрены системы ИИ в целях обеспечения лучшего понимания систем ИИ и определения подхода к обеспечению функциональной безопасности. В пя- том разделе описываются требования к обеспечению функциональной безопасности систем ИИ и возможная процедура оценки. В шестом разделе приведен пример проведения оценки безопасности очень простой систе- мы. В последнем разделе подводятся итоги проделанной работы.

⦁ Что такое искусственный интеллект?
Существует множество публикаций с упоминанием систем, использующих ИИ. Например, Брюнет [3] сде- лал краткий обзор таких систем. Отправной точкой в развитии возможностей ИИ в 1950-х гг. стал тест Тью- ринга, основной целью которого была проверка, может ли машина имитировать интеллектуальное поведение, свойственное человеку. Впоследствии была разработа- на концепция эволюционных программ. Термин «ис- кусственный интеллект» был впервые использован в Дартмутском колледже в 1956 году. Многими учеными были предложены и другие концепции.
ИИ можно определить как интеллект, демонстриру- емый машиной. ИИ имитирует когнитивные функции, обучение, решение проблем и т.д.
Вопрос заключается в следующем: могут ли пред- ставленные ниже критерии служить критериями ис- кусственного интеллекта:
⦁ использование речи;
⦁ разум;
⦁ самоанализ.
Несмотря на то, что достижения в области развития ИИ действительно поражают, в статьях и презента- циях много «хайпа» вокруг глубокого машинного обучения (см., например, статью Хэтташ и Гайслер, 2019 [7]), а вот публикаций с полноценным обосно- ванием безопасности применения ИИ, насколько нам известно, до сих пор нет, хотя есть немало исследо- вательских проектов, направленных на обоснование безопасности ИИ.
В последнее время разработан ряд подходов к обе- спечению безопасности, в частности, проект стандарта UL 4600 [15], содержащий требование проведения до- казательства безопасности при оценке транспортных средств, в составе технических средств которых могут использоваться алгоритмы ИИ. При этом в проекте стан- дарта UL 4600 подробно описан обсуждаемый предмет, но не процесс подтверждения соответствия требованиям безопасности. Это четко указано во введении: «Соответ- ствие данному стандарту не является гарантией безопас- ности автоматизированного транспортного средства». Акцент делается на «воспроизводимой оценке оценки полноты доказательства безопасности». Проект стан- дарта UL 4600 предполагается использовать в качестве дополнения к стандарту МЭК 61508 [10].
Другие комитеты по стандартизации, например, не- мецкий DKE, сосредоточили внимание на процессном подходе и концепции жизненного цикла. Путцер [13] продвигает λAI, критерий, аналогичный интенсивности опасных отказов в функциональной безопасности, но не дает ему четкого определения.

⦁ Необходим ли SIL применительно к ИИ?
В этом разделе обсуждается вопрос о том, требуется ли определение уровня полноты безопасности приме- нительно к ИИ, и если да, то какой должна быть соот- ветствующая процедура.
Концепция уровня полноты безопасности (SIL) ис- пользуется во многих стандартах в области функци- ональной безопасности. Первый среди них – широко известный стандарт МЭК 61508. В статье Шебе [14] дан метод определения SIL.

 

[Merfi]

На рис. 1 показана стандартная электрическая, элек- тронная, программируемая электронная система (си- стема Э/Э/ПЭ). На схеме изображены контролируемое оборудование, информация, поступающая от датчиков в систему управления, а также исполнительные устрой- ства под контролем системы управления. В зависимости от последствий отклонений в работе системы управле- ния, она получает соответствующий уровень полноты обеспечения безопасности (SIL).
В общем, тип системы управления не имеет значе- ния. Применительно к задачам анализа степени риска и определения SIL она в любом случае рассматривается как черный ящик. Это представлено на рис. 2.
В данном случае черный ящик также может быть системой ИИ. Таким образом, может быть необходимо определение уровня полноты безопасности, если систе- ма ИИ выполняет задачи, связанные с безопасностью, а SIL может быть определен теми же методами, что и для системы Э/Э/ПЭ. Правила же определения SIL могут различаться в зависимости от типа системы, которая реализует функции черного ящика.
Какого SIL следует ожидать применительно к раз- личным способам использования ИИ? В основном это будет зависеть от последствий отказов и от возможно- стей использования других мер снижения риска отказов:
⦁ обработка данных (SIL зависит от результатов и их использования);
⦁ системы поддержки принятия решений (обычно
SIL не присваивается, если человек имеет возможность отменить решение системы);
⦁ распознавание речи (SIL зависит от того, как ис-
пользуются результаты, и наличия безопасного резер- вирования);
⦁ распознавание лиц (SIL зависит от того, как исполь- зуются результаты, т.е. какие функции активированы);
⦁ роботы-медсестры (поскольку такие роботы дают
пациентам лекарства, помогают им передвигаться, тре- буется определение SIL);
⦁ автономные системы транспорта (наличие SIL не-
обходимо ввиду возможных дорожно-транспортных происшествий).
В любом случае должен проводиться анализ опасно- стей и риска, чтобы определить SIL, или обоснование от- сутствия необходимости его определения. Необходимо обеспечить соблюдение положений соответствующего стандарта функциональной безопасности.
⦁ Искусственный интеллект изнутри Архитектура ИИ
На рис. 3 изображена упрощенная архитектура си- стемы ИИ. Она в чем-то схожа с архитектурой, пред- ложенной Вангом [16], но не повторяет ее.
Система ИИ основана на использовании модели, которой свойственна гибкость и необходимость в об- учении, которое проводится на основе имеющихся данных. Эти данные должны быть репрезентативны, т.е. достоверно отражать будущие события. Важно не допускать ситуаций, подобных изложенной в статье Корни [5], когда система ИИ продемонстрировала расо- вую дискриминацию по той причине, что в систему был внесен нерепрезентативный набор данных для обучения. После обучения устанавливаются параметры модели.
Позже она используется для создания запросов на полу- чение данных и активации объектов для управления кон-

тролируемым оборудованием. Продолжение обучения возможно даже после ввода системы в эксплуатацию.
Для продолжения обучения важно:
⦁ проверить модель;
⦁ убедиться в репрезентативности данных;
⦁ проверить верификацию цепочки «данные – реакция модели – действия»;
⦁ провести общую валидацию.
При верификации модели используются опытные данные, которые также должны быть репрезентативны и не могут совпадать с данными, используемыми для обучения.
В следующих подразделах мы более подробно рас- смотрим несколько типов систем ИИ. Это позволит оптимизировать модельную часть архитектуры, пока- занной на рис. 3.

 

[Merfi]

Взгляд на ИИ с использованием анализа сходства
Как видно из рис. 3, большинство алгоритмов ИИ основаны на статистике или, по крайней мере, имеют сходство с ней. В качестве первого подхода к определе- нию требований для использования ИИ в ответственных системах может быть использована статистическая процедура. Такой метод можно также назвать анализом сходства. Какие результаты может принести статистиче- ская процедура? Что, если алгоритмы ИИ, например, ма- шинное обучение, интерпретировать как статистическое выравнивание данных, но с очень сложными алгорит- мами и большими выборками? Необходимо отметить, что речь идет об упрощенном представлении, которое используется для общего понимания ИИ, что позволит применять методы оценки безопасности.
Чтобы понимать данный пример на интуитивном уровне, рассмотрим одну из самых простых статисти- ческих моделей, которая известна каждому инженеру еще со школьных времен – линейная регрессия, т.е. подгонка (прямой) линии к данным. Что мы можем извлечь из этого? Следует обратить внимание на то, что этот результат не новый. Перл и Маккензи уже за- явили о том, что нейронные сети «…контролируются посредством проведения исследований и получения результатов, к которым инженеры пытаются подогнать функцию, почти так же, как специалист по статистике пытается подогнать прямую линию к набору точек». Но, насколько известно авторам, это сходство еще ис- следуется.
Допустим, что некоторое критически важное для без- опасности решение будет зависеть от качества кривой, построенной по точкам. Анскомб [1] в своей статье продемонстрировал, что может случиться при постро- ении кривой по точкам. В наборе точек Анскомба все соответствующие статистические показатели имеют, как минимум, два знака после запятой, хотя, очевидно, что наборы отличаются друг от друга (рис. 4).
На рис. 4 приведены примеры верной подгонки дан- ных (набор данных 1); набор данных (2), где, очевидно, используется неправильная модель; набор данных (3), на который влияют выбросы; набор данных (4) с точкой выплеска, которая является результатом совершенно не- верной постановки эксперимента. Даже из этого просто- го примера можно сделать несколько важных выводов:
⦁ Модель должна быть правильной, иначе мы никогда не сможем должным образом подогнать данные (см. набор данных 2), независимо от того, как долго будет продолжаться обучение или насколько качественными являются данные.


⦁ Набор данных для обучения должен быть репрезен- тативным для реальных данных; необходимо убедиться, что выборка является адекватной (см. набор данных 4).
⦁ Необходимо наличие метода для обнаружения выбросов (или даже для их устранения, см. набор дан- ных 3) или аномалий.
⦁ Необходимо наличие критерия для определения качества подгонки (как коэффициент детерминации R2 в нормальной регрессии). Но такой критерий и рассчи- танная подгонка данных зависят от функции потерь (см. набор данных 1, где обычная функция потерь с методом наименьших квадратов представлена, как и все другие подгонки, на рисунке 4).

 

[Merfi]

Машинное обучение как задача классификации
Машинное обучение (МО) является наиболее успеш- ным процессом реализации ИИ. С точки зрения статистики, МО можно интерпретировать как задачу классификации, которая обеспечивает другой взгляд на проблему. Все выводы из предыдущего раздела непо- средственного относятся к МО. Большинство алгорит- мов МО решают задачи классификации, аналогичные кластерному анализу или дискриминантному анализу в статистике. Имеется (как минимум) два класса (боль- ших) данных в многомерном пространстве (см. рис. 5, где изображено двухмерное пространство). В других случаях алгоритмы МО решают задачи регрессии или уменьшают число измерений многомерного простран- ства. Для понимания этих моделей далее может быть применен статистический подход. В оставшейся части данного раздела будут приведены проблемы классифи- кации.
Оптимальная функция дискриминации полностью разделяет классы для обучающей выборки. Можно



предположить, что существует точная («верная») функция дискриминации (красная кривая на рис. 5), но на практике с помощью алгоритмов МО определяется лишь приближение истинной функции. Тем не менее, между двумя классами остается разрыв, и не существует однозначного решения для этой проблемы.

Искусственные нейронные сети и обобщенная теорема аппроксимации
Наиболее популярным и успешным алгоритмом ма- шинного обучения являются искусственные нейронные сети (ИНС) [4, 11]. Каждая ИНС имеет как минимум два слоя, которые соединены между собой связями, имею- щими определенные веса. На рис. 6 приведен простой пример ИНС.


Математическая модель простой ИНС может быть описана следующим образом: вектор входных данных х преобразуется весами v и w, смещениями b и резуль- тирующей функцией  (непостоянной, ограниченной и непрерывной) в два выходных класса:

(1)

Оптимальные веса для определенной функции по- терь С, которая формулируется как дополнение к (1), определяются итеративно на основе набора данных для обучения и с использованием численного алгоритма.
При построении более сложных ИНС используют- ся дополнительные скрытые слои (часто называемые



глубокими нейронными сетями), но математическое описание и решение аналогичны тем, что используются при построении простых ИНС.
Из вышеуказанного обзора возникают следующие вопросы:
 Является ли функция F правильной для четкого
различения данных?
 Является ли она максимально приближенной к истинной функции?
 Необходимо ли большее количество слоев или
более сложные функции?
 Как подтвердить то, что набор данных для обучения является репрезентативным?
 Как обнаружить выбросы?
 Как можно обосновать функцию потерь С?
Если ответы на данные вопросы будут недостаточно всеобъемлющими, то в модели могут возникнуть си- стемные ошибки!
Согласно статье Цибенко [6], для ответа на первый вопрос существует множество так называемых «универ- сальных теорем приближения», которые демонстрируют сближение функции F с f (истинной функцией), при условии, что  является ограниченной и непрерывной функцией, а f – непрерывной. Необходимо отметить, что сходимость рассматривается как расчетный метод, а не как стохастическая сходимость.
Это довольно хороший результат, и он также связан с ответами на другие вопросы. Наиболее ограничива- ющим допущением является непрерывность истинной функции f, что означает, что пространство задач должно быть разделимым с помощью непрерывной функции. Функция  также должна быть непрерывной, потому что нельзя использовать скачкообразную функцию для принятия решения.
На первый взгляд этот результат удивителен, по- скольку он непосредственно относится к ИНС с одним скрытым слоем, но, с другой стороны, результаты до- вольно очевидны и имеют простое объяснение:
⦁ F – это некое общее приближение к f. Но очевид- но, что такое линейное приближение для непрерывной функции f возможно только в том случае, если имеется достаточно большое количество узлов N. Как показано на рис. 5 (пример классификации), функция f может быть ап- проксимирована ступенчатыми линейными функциями.
⦁ Глубокая ИНС с несколькими скрытыми слоями может быть представлена с помощью одного слоя (с большим количеством узлов N). Предположим, что ис- тинная функция f может быть функцией, представленной многослойной сетью, которая по теореме аппрокси- мации может быть аппроксимирована однослойной функцией F.
Для надежного применения метода, при ответе на пер- вый вопрос необходимо соблюдать следующие условия:
⦁ Выбрать однослойную ИНС с достаточно большим количеством узлов N. Количество узлов N можно опре- делить по критерию сходимости согласно расчетному методу.
⦁ Наиболее сложное предположение, которое необ- ходимо обосновать, состоит в том, что наборы данных могут быть разделены непрерывной функцией. Этот аргумент будет зависеть от типа системных данных и вряд ли может быть общим.
⦁ Выбрать подходящую функцию потерь С (с обо- снованием).

Данные и точность подгонки
Второй вопрос касается качества набора данных для обучения, а также соответствующего правила остановки: когда обучение закончится?
Обеспечение репрезентативности данных означает, что обучение должно происходить в типичной для этого типа системы среде, а среда должна быть такой, чтобы воздействие было типичным для этого типа использова- ния, включая все изменения в среде. Все копии системы (после обучения) должны работать, как минимум, в аналогичной среде и должны быть одинаковыми (см. статью Брабанда, 2018 [2]). Необходимо также учесть проблему обнаружения аномалий (данная проблема касается вопроса 3). Возможно, необходимо ввести пра- вила, связанные с обеспечением безопасности системы, для среды, в которой в которой будет функционировать система.
Следующий вопрос заключается в точности подгон- ки данных. Как определить точность подгонки набора данных для обучения? Можно ли допустить ошибку в наборе данных для обучения? Как правило, на практике любая неправильная классификация в наборе данных для обучения может привести к высокой доле ошибок при классификации. В качестве примера рассмотрим черную точку на границе линии на рис. 5. Предположим, что оба набора данных разделены истинной (красной) функцией f, как показано на рис. 5. Если данная чер- ная точка классифицирована неправильно, весь набор находящихся рядом с ней точек также будет неверно классифицирован, что приведет к большому количеству ошибок. С другой стороны, данная точка может быть выбросом.
Это означает, что:
⦁ Либо имеется 100% правильная классификация набора данных для обучения,
⦁ Либо можно точно рассчитать вероятность воз- никновения ошибки.
Проблема состоит в том, что невозможно просто по- считать ошибки классификации. Необходимо присвоить им вес в соответствии с их важностью, что может быть затруднительно в больших пространствах и при наличии больших данных.
Кроме того, обучение происходит с использова- нием статистического подхода, что означает следу- ющее:
⦁ необходимо учитывать доверительные границы;
⦁ производные параметры – это случайные значения с некоторым разбросом;
⦁ последующие решения ИИ также будут случайными с некоторыми ошибками:
⦁ первый тип ошибки: неверное решение, несмотря на то, что входные данные находятся в «правильном» домене;
⦁ второй тип ошибки: входные данные находятся в «неправильном домене», но решение является
«верным».
В результате ИИ обладает вероятностью ошибочного решения. Данный фактор необходимо учитывать при выделении части бюджета допустимой интенсивности опасных случайных отказов ИИ (в данном случае: ал- горитм).

 

[Merfi]

Стандарты функциональной безопасности искусственного интеллекта и возможная процедура оценки
Если ИИ применяется в приложениях, связанных с безопасностью, в действие вступают стандарты функ- циональной безопасности. Обратимся к базовому стан- дарту МЭК 61508 [10]. Он представляет собой пример требований стандартов функциональной безопасности. Основная информация содержится в МЭК 61508-3, таблица A.2:
№ 5 – Исправление ошибок методами искусственного интеллекта SIL 2- SIL 4: NR (см. C.3.12);
№ 6 – Динамическая реконфигурация SIL2 – SIL 4: NR (см. C3.13).
В части МЭК 61508-7 приведено определение ис- кусственного интеллекта в рамках стандарта.
C.3.9 Исправление ошибок методами искусственного интеллекта
Для различных каналов связи системы прогнозиро- вание (вычисление тенденций), исправление ошибок, обслуживание и контролирующие действия могут достаточно эффективно поддерживаться системами, основанными на методах искусственного интеллекта (AI). Правила для таких систем могут быть созданы непосредственно из спецификаций и проверены на соответствие. С помощью методов искусственного интеллекта некоторые ошибки общего характера, по- падающие в спецификации, для устранения которых уже существуют некоторые правила проектирования и реализации, могут быть исключены, особенно при представлении комбинаций моделей и методов функ- циональным или описательным способом. Методы выбираются так, чтобы ошибки могли быть устранены и влияние отказов минимизировано для обеспечения требуемой полноты безопасности.
Фактически, МЭК 61508 рассматривает ИИ как средство исправления ошибок, а динамическую рекон- фигурацию – как реакцию на ошибку в системе управ- ления. Такое применение сделает систему управления непредсказуемой.
Как выполнить требования МЭК 61508, относящиеся к искусственному интеллекту? Утверждение, приведен- ное в стандарте, связано с утверждением о динамиче- ской реконфигурации, что является нежелательным для SIL 2… SIL 4. Если ИИ применяется в самой системе управления, это не будет реакцией на неисправности системы управления, это будет его свойством.
Стандарт функциональной безопасности требует предсказуемой системы. Предсказуемая система означа- ет, что меры, предусмотренные против систематических отказов, позволяют влиянием этих отказов пренебречь. Вероятность возникновения случайных отказов нахо- дится на достаточно низком уровне.
Таким образом, поведение системы с ИИ должно быть предсказуемым в статистическом смысле. Стоит учитывать, что предсказуемое поведение означает не детерминированное поведение, а статистически пред- сказуемое поведение. Это значит, что система ИИ будет способствовать случайным опасным отказам, вызван- ным случайным поведением самого программного обе- спечения. Это является ключевым отличием от обычных систем Э/Э/ПЭ, где программное обеспечение считается детерминированным, а требования относятся только к систематическим ошибкам, благодаря чему выполнение требований к программному обеспечению стандартов функциональной безопасности позволяет снизить веро- ятность этих ошибок до приемлемого уровня.
Предлагаемый подход к оценке содержит следую- щие шаги:
⦁ анализ модели;
⦁ выделение части бюджета допустимой интенсивно- сти опасных случайных отказов в системе ИИ, поскольку она демонстрирует вероятностное поведение;
⦁ рассмотрение системы ИИ в качестве нормальной
математической модели, но с случайным поведением.
Затем оценка проводится так же, как и обычная оценка безопасности со сложной математической моделью. Авторы не будут приводить всю процедуру оценки безопасности в данной статье. Подробнее о процессе оценки см. Виггер [17]. Основной частью оценки является проверка модели.
Математическую модель необходимо проверить в отношении следующих аспектов:
⦁ правильность модели с точки зрения физических/
химических/математических и других научно обосно- ванных теорий;
⦁ эквивалентность другим математическим моделям,
например, моделям кривых торможения, тепловым моделям и т.д.
Это означает, что теория / модель должна быть от- крыта эксперту-оценщику. Модели могут быть одного из следующих типов (см., например, Ванг, 2017 [16]):
⦁ нейронная сеть;
⦁ долгая краткосрочная память;
⦁ автокодировщик;
⦁ глубокая машина Больцмана;
⦁ генеративно-состязательная сеть;
⦁ долгая краткосрочная память на основе внимания.



Чем более гибкой является модель, тем сложнее будет ее анализ. В следующем разделе приводится пример того, как подобный анализ может быть выполнен для очень простой модели.
Из-за значительных усилий, необходимых для проверки модели, возникает вопрос, могут ли быть использованы проверенные на практике подходы. Согласно Брабанду и др. [2], это будет означать на- копление минимального количества часов безотказной работы (здесь: нет опасных отказов) по следующей схеме:
⦁ 3·106 часов безотказной работы для SIL 1;
⦁ 3·108 часов безотказной работы для SIL 4.
Практический опыт показывает, что такое количество часов безотказной работы трудно накопить. Как след- ствие, необходимо провести анализ модели, который остается одной из основных частей оценки безопас- ности.

⦁ Дальнейшие исследования
Мы признаем, что приведенный пример является до- статочно простым и теоретическим, однако мы считаем, что необходимо понять и решить небольшие проблемы, прежде чем подходить к многомерным задачам.
Для рассмотрения чуть более практического при- мера, разберем следующую задачу: дано множество из n двумерных точек, которые разделены на два под- множества (как на рис. 5, но точки). Модель неизвестна, но количество точек в определенной степени можно контролировать. Известно только то, что задача связана с безопасностью и имеет SIL x. Можно выбрать свой любимый метод классификации, например, ИНС.
При каких допущениях вы сможете представить до- казательство безопасности в соответствии с признан- ным стандартом безопасности, например, МЭК 61508? Можно ли также предоставить адекватное руководство по практической проверке обоснованности этих до- пущений?
Это может показаться простой проблемой, но она име- ет большое значение: если мы не сможем представить доказательство безопасности (при допущениях, которые можно обоснованно проверить на практике), то алгорит- мы ИИ (по крайней мере, некоторые классы) не могут быть использованы для приложений, связанных с без- опасностью. Но если мы сможем решить эти проблемы при определенных условиях, то используемый подход, возможно, удастся обобщить для больших размерностей.

Заключение
В данной статье описан возможный подход к оценке безопасности систем ИИ, однако некоторые вопросы остаются открытыми и могут быть решены только в контексте конкретного приложения.
Уровень полноты безопасности можно определить как для обычной системы Э/Э/ПЭ. Он также должен быть подтвержден анализом опасности и риска. Это необходимо, даже если система не требует SIL.
ИИ можно легко применять в ситуациях, где не воз- никает критичных для безопасности последствий, что должно быть подтверждено анализом риска. В этом случае не нужно вводить требования к уровню полно- ты безопасности системы, и оценка безопасности не требуется.
Предложен подход к анализу модели. Проводимый анализ в значительной степени зависит от типа модели. Оценка всегда требует глубокого анализа модели ИИ, что означает, что сам ИИ не может быть проанализирован,

Поскольку охватывает множество различных подходов. Чем более гибкой является модель, тем сложнее должен быть ее анализ. При использовании в критичных для безопасности системах удобным подходом может быть ограничение типов моделей для упрощения проектиро- вания и оценки системы ИИ.
Перл и Маккензи [12] подошли к проблеме с той же точки зрения и пришли к выводу, что в ИИ должна быть введена причинно-следственная связь, прежде чем мы сможем полагаться на его выводы. Один из их выводов заключается в том, что необходимо «сформулировать модель процесса, который генерирует данные, или, по крайней мере, некоторые аспекты этого процесса».
Был приведен теоретический пример для демонстра- ции подхода к анализу конкретного типа модели.
Также представлена задача для дальнейших ис- следований, решение которой может быть ключевым в использовании алгоритмов ИИ для приложений, связанных с безопасностью. Задача состоит в том, чтобы сформулировать модель процесса генерации данных, которая позволяет проводить анализ безопас- ности и может быть обоснована для практического применения.
Есть только две возможности использования систем ИИ без необходимости тщательной оценки безопас- ности: либо иметь систему ИИ, которая не связана с безопасностью, либо иметь другую систему Э/Э/ПЭ, связанную с безопасностью, которая принимает на себя полную ответственность за безопасность.

 

[Merfi]

Защищаемся от ИИ с помощью ИИ: решения с поддержкой искусственного интеллекта для киберугроз нового поколения

Проникновение технологий искусственного интеллекта в область кибербезопасности вызывает серьезную озабоченность.
роникновение технологий искусственного интеллекта в область кибербезопасности вызывает серьезную озабоченность. С одной стороны, технологии ИИ могут использоваться киберзащитниками для смягчения атак и нейтрализации угроз. Однако, оказавшись в руках злоумышленников, технологии ИИ станут опасным оружием и будут представлять серьезную угрозу. По данным BCG, более 90% профессионалов в области кибербезопасности в США и Японии ожидают, что злоумышленники начнут использовать ИИ для проведения атак. По мнению автора, такой сценарий, по сути, уже стал реальностью.

Искусственный интеллект открывает большие возможности для кибер-злоумышленников, позволяя им увеличивать силу атак в плане скорости, объема и сложности до огромных масштабов. По словам Алехандро Корреа Бансена из Cyxtera, атаки на основе ИИ могут обходить традиционные системы обнаружения более чем в 15% случаев, в то время как средняя фишинговая атака (без ИИ) может быть успешной только в 0,3% случаев. Пример: #SNAP_R.

Защита — это не опция. Это необходимость.
Подпишись на нас
Защищаемся от ИИ с помощью ИИ: решения с поддержкой ИИ для киберугроз нового поколения

При противодействии данной растущей угрозе важно отметить, что для защиты от кибератак с использованием ИИ, требуется применять решения на основе ИИ. То есть там, где дипфейки могут обмануть системы безопасности, должна использоваться более высокая аутентификация на основе искусственного интеллекта. И так далее.

Организации только начинают осознавать риски искусственного интеллекта. Предприятиям следует действовать как можно быстрее, чтобы успеть защитить свои системы от подобных атак. WannaCry вывел кибератаки на совершенно другой уровень сложности. А теперь еще добавился ИИ? Этого нельзя допустить.

Риски ИИ при проведении кибератак

1. Масштабируемость

На конференции Black Hat в 2016 году исследователи представили программу автоматического целевого фишинга. Целевой фишинг, как правило, требует много времени и усилий; в зависимости от масштаба атаки. Злоумышленнику, скорее всего, придется собрать большой объем информации о своих целях для эффективной социальной инженерии. Исследователи продемонстрировали, как большие данные и машинное обучение можно использовать для автоматизации и масштабирования целевых фишинговых атак.

2. Выдача себя за другое лицо

Несколько месяцев назад эксперты Dawes Center for Future Crime назвали дипфейки самой серьезной киберугрозой, связанной с искусственным интеллектом. Нетрудно понять почему. Дипфейки - это инструмент дезинформации, политических манипуляций и обмана. Кроме того, злоумышленники могут использовать дипфейки, чтобы выдать себя за доверенных лиц, взломать деловую электронную почту (голосовой фишинг) для финансового мошенничества. И хуже всего то, что киберпреступников будет трудно обнаружить.

Возможность дипфейка высмеивает саму идею голосовой биометрии и аутентификации. Дипфейки заставят людей не доверять звуковым и визуальным свидетельствам, которые долгое время считались надежными источниками доказательств.

3. Обнаружение-уклонение

Один из способов использования ИИ для уклонения от обнаружения - это отравление данных. Злоумышленники компрометируют данные, используемых для обучения и настройки интеллектуальных систем обнаружения угроз. Например, “поработав” с настройками, они могут убедить систему, что спам-сообщения безопасны. Использование ИИ позволяет злоумышленникам действовать более скрытно и опасно.

Исследования показывают, что заражение всего 3% данных может повысить вероятность ошибки до 91%. ИИ можно использовать как для уклонения от атак, так и для адаптации к защитным механизмам.

4. Изощренность

Выше было рассказано, как ИИ усиливает атаки. Атаки искусственного интеллекта гораздо хуже обычных из-за автоматизации и машинного обучения. Автоматизация преодолевает предел человеческих усилий, в то время как машинное обучение заставляет алгоритмы атак улучшаться на основе опыта и становиться более эффективными, независимо от того, была ли успешной атака.

Адаптивность означает, что атаки на основе ИИ будут становиться все сильнее и опаснее, если не будут разработаны более сильные контр инструменты для сопротивления.

 

[Merfi]

Использование ИИ для защиты от ИИ

А. Машинное обучение для обнаружения угроз

При защите от ИИ с помощью ИИ машинное обучение помогает автоматизировать обнаружение угроз. Особенно это касается новых угроз, от которых не могут защитить традиционные антивирусные системы и брандмауэры. Машинное обучение может на 50–90% сократить количество ложных срабатываний, представляющих серьезную опасность при традиционном обнаружении угроз.

В отличие от инструментов обнаружения предыдущего поколения, основанных на сигнатурах, машинное обучение может отслеживать и регистрировать модели использования сети среди сотрудников в организации и своевременно предупреждать руководителей об обнаружении аномального поведения.

Согласно статистике, в настоящее время 93% SOC используют инструменты искусственного интеллекта и машинного обучения для обнаружения угроз. Из-за увеличения количества данных и роста числа изощренных кибератак специалистам в области безопасности необходимо усилить свои возможности защиты и обнаружения с помощью контролируемого и неконтролируемого машинного обучения.

Б. Улучшение аутентификации с помощью ИИ

Слабая проверка подлинности - наиболее распространенный способ получения несанкционированного доступа к конечным точкам. Как мы видим на примере дипфейков, даже биометрическая аутентификация больше не является панацеей. ИИ дает возможность изощренно обходить защиту, повышая требования к инструментам аутентификации.

Инструменты проверки подлинности, основанные на рисках, (Risk-Based Authentication, RBA) используют поведенческую биометрию на основе искусственного интеллекта для выявления подозрительной активности и предотвращения взлома конечных точек. Затем аутентификация выходит за рамки проверки пользователя до аналитики в реальном времени. RBA, который также называется адаптивным интеллектом, оценивает информацию о местоположении, IP-адрес, информацию об устройстве, конфиденциальность данных и т. д. После этого рассчитывается оценка риска и делается вывод о предоставлении или ограничении доступа.

Например, если человек всегда входит в систему утром в рабочие дни через компьютер в офисе и однажды пытается войти в систему через мобильное устройство в ресторане в выходной, это может являться признаком компрометации, и система должным образом отреагирует на подобное нестандартное поведение.

При использовании интеллектуальной модели безопасности RBA злоумышленнику недостаточно просто знать пароль к системе.

В дополнение к этому, системы аутентификации на основе искусственного интеллекта начинают внедрять непрерывную аутентификацию, продолжая использовать поведенческую аналитику. Вместо одного входа в систему за сеанс, который может быть атакован на полпути, система постоянно работает в фоновом режиме, аутентифицируя пользователя, анализируя пользовательскую среду и поведение на предмет подозрительных шаблонов.

C. ИИ в предотвращении фишинга

Улучшение обнаружения угроз - один из способов использования ИИ для предотвращения фишинговых атак по электронной почте, а также обеспечения безопасности при использовании торрент-сайтов для загрузки мультимедийного содержимого. Все эти вещи также можно сделать с помощью простого поведенческого анализа. Предположим, вы получили электронное письмо якобы от генерального директора. ИИ проанализирует сообщение, чтобы выявить закономерности, несовместимые с манерой общения настоящего генерального директора.

ИИ проанализирует стиль письма, синтаксис и выбор слов для выявления противоречий и предотвращения попадания в ловушку, что позволит пользователю безопасно просматривать и скачивать файлы.

ИИ также может сканировать метаданные электронной почты для обнаружения измененных подписей, даже если адрес электронной почты выглядит нормально. Он также сканирует ссылки и изображения, чтобы проверить их подлинность. В отличие от традиционных средств защиты от фишинга, блокирующих вредоносные электронные письма с помощью фильтров, которые легко можно обойти, ИИ выступает непосредственно против самого ядра фишинговых писем: социальной инженерии.

Атаки социальной инженерии трудными для выявления делает то, что они являются психологическими, а не технологическими. До сих пор чистая человеческая смекалка и скептицизм были инструментами для преодоления подобных атак. Теперь ИИ усилил профилактику, расширив пределы человеческих возможностей.

Распознавая закономерности, которые не сразу очевидны для людей, ИИ может определить, является ли электронное письмо вредоносным, даже если оно не содержит подозрительных ссылок или кода. Причем с помощью автоматизации ИИ может это делать в большом масштабе.

D. Предиктивная аналитика

Основным преимуществом ИИ в кибербезопасности является способность прогнозировать атаки и наращивать защиту еще до того, как данные атаки произойдут. ИИ поможет поддерживать полную видимость всей сетевой инфраструктуры организации и анализировать конечные точки для обнаружения возможных уязвимостей. В наш век удаленной работы и использования пользователями собственных устройств для рабочих нужд, когда ИТ-отделы все чаще сталкиваются с трудностями в обеспечении безопасности конечных точек, ИИ может значительно облегчить их работу.

ИИ - лучший выбор против уязвимостей нулевого дня, позволяющий быстро создать интеллектуальную защиту еще до того, как эти уязвимости будут использованы злоумышленниками. Кибербезопасность с использованием ИИ можно назвать чем-то вроде цифровой иммунной системы организации, подобно тому, как человеческие антитела атакуют инородные вещества.

Заключение

В прошлом году австралийские исследователи обошли знаменитый антивирус Cylance AI, не применяя общепринятый метод отравления наборов данных. Они просто изучили, как работает антивирус, и создали универсальное решение для обхода. Исследование поставило под сомнение практику определения компьютером того, чему следует доверять, а также вызвало сомнения в эффективности использования ИИ для кибербезопасности.

Однако, что более важно, данное исследование показало важность человека. ИИ не является панацеей или серебряной пулей, для борьбы с продвинутыми киберугрозами человеческий контроль по-прежнему необходим. Таким образом мы знаем, что одних человеческих усилий с обычными инструментами кибербезопасности недостаточно для преодоления следующего поколения киберугроз, основанных на искусственном интеллекте.

Не бойтесь использовать технологии ИИ, это лучшее средство нападения и защиты от ИИ.

 

[Merfi]

Искусственный интеллект в информационной безопасности: добро или зло​

​

Искусственный интеллект (ИИ) стал неотъемлемой частью многих сфер жизни, включая информационную безопасность (ИБ). С каждым годом количество и сложность кибератак возрастают, что требует новых подходов к защите данных и информационных систем. Вопрос о том, является ли применение ИИ в информационной безопасности благом или угрозой, становится все более актуальным. В данной статье мы рассмотрим преимущества и недостатки использования ИИ в информационной безопасности, а также его влияние на различные аспекты этой важной области.​

Использование искусственного интеллекта в информационной безопасности: преимущества​

Автоматизация процессов​

Искусственный интеллект в информационной безопасности позволяет автоматизировать многие рутинные задачи, связанные с мониторингом и анализом данных. Это значительно ускоряет выявление угроз и позволяет оперативно реагировать на них. Например, ИИ может анализировать огромные объемы данных в реальном времени, выявляя аномалии и подозрительную активность. Это особенно важно для обнаружения сложных и многоэтапных атак, которые могут быть не видны при использовании традиционных методов.
Анализ логов и событий является одной из наиболее трудоемких задач в кибербезопасности, поэтому SIEM- системы до сих пор стоят внушительно. ИИ может автоматизировать этот процесс.
Применение искусственного интеллекта в обеспечении информационной безопасности актуально и для автоматического анализа файлов и программ на предмет наличия вредоносного кода. В отличие от традиционных антивирусных программ, системы на базе ИИ анализируют поведение программ в песочнице, выявляя вредоносное ПО на основе его действий. Такие решения не только обнаруживают уязвимости, но и предоставляют рекомендации по их устранению или даже автоматически применяют патчи и обновления.
Однако важно учитывать, что такие системы требуют тщательной настройки и регулярного обновления данных для обучения, чтобы поддерживать высокий уровень безопасности и минимизировать риски ложных срабатываний и неверного принятия решений.

Повышение точности обнаружения угроз​

Одним из ключевых преимуществ ИИ является способность выявлять неизвестные ранее угрозы. Традиционные системы обнаружения угроз основываются на сигнатурах, которые легко обходятся новыми типами вредоносного ПО. ИИ, напротив, анализирует поведение систем и пользователей, что позволяет выявлять аномалии и потенциальные угрозы, даже если они ранее не были известны.
Искусственный интеллект может выполнять контекстный анализ и корреляцию событий, что позволяет более точно определять, является ли конкретное действие частью кибератаки. Такие системы анализируют множество факторов, включая временные метки, источники данных и типы активности, что помогает выявить сложные атаки, состоящие из множества этапов.
Традиционные системы обнаружения угроз часто генерируют большое количество ложных срабатываний, что усложняет работу ИТ-специалистов. ИИ помогает снизить количество ложных срабатываний, анализируя данные с учетом контекста и поведения системы.

Адаптивность и обучение​

ИИ-системы способны адаптироваться к изменениям. Они обучаются на больших объемах данных, что позволяет им выявлять паттерны и аномалии. Машинное обучение (МО) является основной технологией, используемой для этого. ИИ-модели анализируют исторические данные о кибератаках, а также текущие данные, чтобы выявлять и прогнозировать угрозы.
Одним из примеров успешного применения адаптивности и обучения ИИ в информационной безопасности является система обнаружения вторжений (IDS), которая способна самостоятельно обновлять свои правила и алгоритмы на основе обучения на исторических данных о кибератаках. Это позволяет таким системам быть более эффективными в борьбе с новыми угрозами и улучшать свои способности с течением времени.
Однако, необходимо учитывать, что адаптивные и обучаемые ИИ-системы также подвержены риску злоупотребления и манипуляций. Киберпреступники могут использовать алгоритмы машинного обучения для создания усовершенствованных кибератак, способных обойти защитные меры системы. Поэтому важно регулярно анализировать и обновлять методы защиты, чтобы сделать ИИ-системы более устойчивыми к атакам.

Распределение ресурсов​

Системы ИИ могут эффективно распределять ресурсы (вычислительные мощности, пропускную способность сетевого оборудования, а также человеческие ресурсы, необходимые для анализа и реагирования на угрозы) для защиты наиболее уязвимых частей инфраструктуры. Автоматизация процессов, анализ больших объемов данных, мгновенное обнаружение нестандартных и скрытых угроз, сбор информации о состоянии защищенности: все это повышает уровень защиты информационных систем, позволяет оптимизировать использование ресурсов и сосредоточить усилия на критически важных объектах.
Важно отметить, что для эффективной работы ИИ необходимо иметь качественные модели обучения, которые способны адаптироваться к новым угрозам и изменяющимся условиям среды. Кроме того, необходимо обеспечить высокую производительность вычислительных систем, чтобы обеспечить быструю и точную обработку данных.

точность, ИИ-системы не застрахованы от ошибок. Они могут неправильно интерпретировать данные или события, что приводит к ложным оповещениям о потенциальных угрозах. Например, алгоритм машинного обучения может неверно классифицировать нормальную активность как подозрительную, что приводит излишнему использованию ресурсов при ложных срабатываниях, поэтому требуется постоянный контроль и настройка систем ИИ, чтобы минимизировать такие риски.
Ложные срабатывания возникают, когда система ИИ ошибочно идентифицирует нормальную активность как угрозу. Основные причины этого явления включают:

• Некорректные данные для обучения: Если ИИ обучается на неполных или некорректных данных, это может привести к неправильным выводам. Недостаток данных или низкое качество данных может привести к неправильному обучению модели.

• Плохая настройка моделей: Неправильная настройка параметров модели или использование неподходящих алгоритмов могут стать причиной высокой частоты ложных срабатываний.

• Изменение поведения системы: ИИ может воспринимать нормальные изменения в поведении системы или пользователей как аномалии, что приводит к ложным срабатываниям.

Для уменьшения количества ложных срабатываний и повышения точности ИИ-систем в информационной безопасности можно использовать несколько подходов:

• Улучшение качества данных: Обеспечение высокого качества данных для обучения ИИ, включая данные о нормальном и аномальном поведении, поможет повысить точность модели.

• Постоянная актуализация данных: Регулярное обновление данных и моделей на основе новых данных позволяет системе адаптироваться к изменениям в поведении пользователей и системы.

• Тонкая настройка моделей: Регулярная настройка параметров модели и выбор наиболее подходящих алгоритмов помогут уменьшить количество ложных срабатываний.

• Использование гибридных систем: Комбинирование ИИ с традиционными методами защиты может повысить общую эффективность системы, так как позволяет учитывать различные виды данных и сценарии.

 

[Merfi]

Зависимость от данных​

Качество данных — это один из самых важных факторов, определяющих эффективность ИИ-систем. Многие организации сталкиваются с проблемой недостаточности данных или нерепрезентативности выборки, что может привести к ошибкам и ложным срабатываниям систем безопасности. Кроме того, важно обеспечить конфиденциальность и целостность данных, чтобы избежать утечек информации или злоупотреблений.
Актуальность данных также играет важную роль. ИИ-системы должны обучаться на данных, которые отражают текущую обстановку и угрозы. Устаревшие данные могут снизить точность модели и сделать её менее эффективной в обнаружении новых типов атак.

Уязвимость к атакам на ИИ​

Искусственный интеллект (ИИ) и машинное обучение (МО) принесли значительные улучшения в информационную безопасность (ИБ), однако они также открыли новые векторы для атак. Атаки на ИИ могут серьезно подорвать его эффективность и надежность, что делает изучение и предотвращение таких угроз крайне важным. Рассмотрим основные виды атак на ИИ и способы защиты от них.
1. Атаки на данные для обучения (Data Poisoning)
Атаки на данные для обучения направлены на искажение обучающих данных с целью введения модели ИИ в заблуждение. Злоумышленники могут встраивать вредоносные данные в наборы для обучения, что приводит к некорректным выводам и ошибкам в распознавании угроз.
Если данные о нормальном поведении пользователей включают вредоносные паттерны, модель ИИ может начать считать эти паттерны нормальными, что приведет к пропуску реальных угроз.
Для защиты от атак на данные для обучения необходимо проводить регулярные аудиты данных, использовать методы фильтрации и очистки данных, а также применять техники защиты данных, такие как доверительная валидация и контроль источников данных.
2. Атаки на модель (Model Inversion)
Атаки на модель направлены на извлечение информации о данных, использованных для обучения модели. Злоумышленники могут попытаться восстановить конфиденциальные данные из модели ИИ, что представляет серьезную угрозу для защищаемой информации.
Например, атака на модель распознавания лиц может позволить злоумышленнику восстановить изображения лиц, использованных для обучения. Для защиты от атак на модель необходимо использовать методы защиты от несанкционированного доступа и ограничивать доступ к модели.
3. Атаки на выводы модели (Adversarial Attacks)
Атаки на выводы модели, или атакующие примеры, предполагают создание специально разработанных входных данных, которые вводят модель в заблуждение. Такие атаки могут сделать ИИ-систему уязвимой к обману даже при наличии точной модели и чистых данных.
Небольшие изменения в изображении могут сделать его не распознаваемым для модели компьютерного зрения, что может быть использовано для обхода систем безопасности.
Методы защиты от атак на выводы модели включают использование методов устойчивого обучения, таких как обучение с использованием атакующих примеров, и применение различных методов регуляризации и нормализации.
4. Атаки на доступность (Denial of Service)
Атаки на доступность направлены на выведение из строя системы ИИ путем перегрузки ее ресурсами. Злоумышленники могут отправлять большое количество запросов, что приводит к замедлению работы или полной остановке системы.
К примеру, атака DDoS на сервер, обрабатывающий данные для модели ИИ, может привести к недоступности сервиса. Для защиты от атак на доступность необходимо применять методы распределенного анализа нагрузки, использование отказоустойчивых архитектур и мониторинг трафика для выявления аномальных активностей.
Причины ложных срабатываний
Методы минимизации ложных срабатываний

Этические и правовые вопросы​

Одним из ключевых правовых аспектов использования ИИ в ИБ является защита персональных данных. Законодательство многих стран требует обеспечения конфиденциальности и безопасности личных данных при их обработке. В России это регулируется Федеральным законом № 152-ФЗ «О персональных данных», который устанавливает строгие требования к обработке персональных данных, включая меры по защите информации от несанкционированного доступа, утечек и других угроз.
Также важным правовым требованием является получение согласия на обработку персональных данных. Пользователи должны быть осведомлены о том, какие данные собираются и как они будут использоваться. Организации должны предоставлять пользователям ясную и полную информацию о целях сбора данных, методах обработки и мерах защиты, а также правах пользователей на доступ, исправление и удаление их данных.
Организации должны уважать право пользователей на неприкосновенность частной жизни и использовать данные только в тех целях, для которых они были собраны. Принцип минимизации данных требует сбора только той информации, которая необходима для выполнения конкретных задач.
Прозрачность алгоритмов и объяснимость решений ИИ являются важными этическими и правовыми требованиями. Пользователи и регулирующие органы должны иметь возможность понимать, как принимаются решения ИИ-системой, особенно в критически важных областях, таких как ИБ. В Европейском союзе Общий регламент по защите данных (GDPR) требует, чтобы субъекты данных имели право на объяснение автоматизированных решений, которые существенно влияют на их права и свободы.
ИИ-системы могут непреднамеренно усиливать существующие предубеждения и дискриминацию, если модели обучаются на неполных или предвзятых данных. Это может привести к несправедливым решениям и усилению неравенства. Например, в системах ИБ, которые анализируют поведение пользователей, предвзятые данные могут привести к ложным обвинениям отдельных групп пользователей в подозрительной активности.
Организации должны применять методы для выявления и устранения субъективности в данных и алгоритмах, обеспечивая корректное использование ИИ. Это включает в себя регулярные аудиты и тестирование алгоритмов на предмет предвзятости и дискриминации.
Правовая ответственность за действия и решения ИИ-систем также является важным вопросом. В случае ошибки или вреда, причиненного ИИ, необходимо определить, кто несет ответственность: разработчик, оператор или пользователь системы. Если система ИИ в ИБ принимает ошибочное решение, которое приводит к утечке данных или нарушению безопасности, необходимо установить, кто будет нести ответственность за этот инцидент. Это может включать как юридические, так и финансовые последствия.
Организации должны быть готовы принимать ответственность за действия своих ИИ-систем и обеспечивать механизмы для исправления ошибок и компенсации ущерба, причиненного пользователям. Это включает в себя разработку и внедрение четких политик и процедур, направленных на управление рисками и устранение последствий ошибок ИИ.

 

[Merfi]

Искусственный интеллект в обеспечении информационной безопасности: примеры использования​

1. Системы обнаружения вторжений (IDS). ИИ используется для улучшения систем IDS, которые анализируют сетевой трафик и выявляют потенциальные атаки. Машинное обучение позволяет таким системам адаптироваться к новым угрозам и повышать точность обнаружения.
2. Антивирусное ПО. Современные антивирусные программы используют ИИ для анализа поведения файлов и программ. Это позволяет выявлять вредоносное ПО, даже если оно еще не внесено в базы данных сигнатур.
3. Мониторинг активности пользователей . Системы на основе ИИ анализируют поведение пользователей и выявляют аномалии, которые могут свидетельствовать о компрометации учетных записей или инсайдерских угрозах.

Заключение​

Искусственный интеллект предоставляет огромные возможности для повышения защищенности ИС, но его использование также сопряжено с рядом рисков. Важно подходить к внедрению ИИ в ИБ с осознанием всех аспектов и тщательно планировать его интеграцию. Обеспечение безопасности данных и систем требует не только технических, но и правовых и этических мер, которые помогут минимизировать риски и максимизировать преимущества использования ИИ.
Таким образом, ИИ в информационной безопасности можно рассматривать как мощный инструмент, который при правильном использовании способен значительно повысить уровень защиты данных и систем. Однако для достижения этой цели необходимо учитывать все возможные риски и принимать меры для их минимизации.

 

[Merfi]

ИИ в Кибербезопасности: Риски ИИ

Искусственный интеллект (ИИ) уже много лет улучшает инструменты кибербезопасности. Например, инструменты машинного обучения значительно ускорили обнаружение аномалий в сетевой безопасности, антивирусных и программном обеспечении для обнаружения мошенничества, в сравнении с возможностями человека. Однако ИИ также создаёт угрозы для кибербезопасности. Брутфорс, атаки отказа в обслуживании (DoS) и социальная инженерия - это лишь несколько примеров угроз с использованием ИИ.

Ожидается, что риски для кибербезопасности, связанные с искусственным интеллектом, будут быстро расти, так как инструменты ИИ становятся дешевле и доступнее. Например, ChatGPT можно обмануть, чтобы он написал вредоносный код или письмо от имени Илона Маска с просьбой о пожертвованиях.

Можно также использовать различные инструменты deepfake для создания удивительно убедительных фальшивых аудиозаписей или видеоклипов, имея очень мало обучающих данных. Возникают также новые опасения в отношении конфиденциальности, так как все больше пользователей начинают без опаски делиться чувствительной информацией с ИИ.

Прочитайте это подробное руководство, чтобы узнать больше:

1. Определение ИИ.
2. Риски искусственного интеллекта.
3. ИИ в кибербезопасности.
4. ИИ и риски для конфиденциальности.

Что такое ИИ: Искусственный интеллект​

ИИ, или искусственный интеллект, подразумевает разработку компьютерных систем, которые могут выполнять задачи и принимать решения, обычно требующие человеческого разума. Это включает создание алгоритмов и моделей, которые позволяют машинам учиться на данных, распознавать шаблоны и адаптироваться к новой информации или ситуациям.

Проще говоря, ИИ - это как обучение компьютеров думать и учиться, как это делают люди. Он позволяет машинам обрабатывать и анализировать большие объемы данных, выявлять шаблоны или аномалии и делать предсказания или принимать решения на основе этой информации. ИИ может быть использован в широком круге приложений, таких как распознавание изображений и речи, обработка естественного языка, робототехника и кибербезопасность, чтобы назвать несколько.

В целом, ИИ стремится имитировать человеческий интеллект, чтобы решать сложные задачи, автоматизировать работу и повысить эффективность и точность в различных областях.

Машинное обучение и глубокое обучение​

Машинное обучение (ML) - это широко используемое подмножество ИИ. Алгоритмы и методы ML позволяют системам учиться на данных и принимать решения без явного программирования.

Глубокое обучение (DL) - это подмножество ML, которое использует искусственные вычислительные модели, вдохновленные человеческим мозгом, называемые нейронными сетями, для выполнения более сложных задач. ChatGPT - это пример ИИ, который использует ML для понимания и реагирования на подсказки, сгенерированные человеком.

Узкий ИИ и искусственный общий интеллект​

Все виды ИИ считаются узким ИИ. Они ограничены по своим возможностям и не обладают самосознанием. Примеры такого ИИ: голосовые ассистенты, чат-боты, системы распознавания изображений, автономные автомобили и модели техобслуживания.

Искусственный общий интеллект (AGI) - это гипотетическая концепция, которая подразумевает самосознательный ИИ, способный соответствовать или даже превосходить человеческий разум. Хотя некоторые специалисты считают, что AGI появится через несколько лет или десятилетий, другие полагают, что это невозможно.

Что такое генеративный ИИ?​

Генеративный ИИ относится к подмножеству техник искусственного интеллекта, включающих создание и генерацию нового контента, например изображений, текста, аудио или даже видео. Это включает обучение моделей пониманию шаблонов в существующих данных и затем использование этих знаний для генерации нового, оригинального контента, который напоминает обучающие данные.

Один из популярных подходов в генеративном ИИ - это использование генеративно-состязательных сетей (GANs). GANs состоят из двух нейронных сетей: сети-генератора и сети-дискриминатора. Сеть-генератор создаёт новый контент, а сеть-дискриминатор оценивает и отличает сгенерированный контент от реального. Обе сети работают в соревновательной манере, с целью, чтобы генератор создавал контент, который дискриминатор не может отличить от реальных данных.

Генеративный ИИ имеет применение в различных областях. Например:

1. Создание изображений: генеративный ИИ может создавать реалистичные изображения, такие как фотореалистичные лица, пейзажи или даже полностью новые объекты, которых не существует в реальном мире.
2. Создание текста: генеративные модели могут обучаться генерировать связный и контекстно релевантный текст, который может быть использован для задач, таких как чат-боты, создание контента или перевод языков.
3. Создание музыки и аудио: генеративный ИИ может создавать новые музыкальные композиции или генерировать реалистичные звуки и голоса.

Хотя у генеративного ИИ много положительных применений, существуют и опасения по поводу его потенциального злоупотребления, например, создания фальшивого контента или видео deepfake, которые могут быть использованы для обмана или манипуляции людьми. Этические соображения и ответственное использование генеративного ИИ - важные факторы для устранения этих рисков.

В области кибербезопасности генеративный ИИ может быть как инструментом, так и вызовом. Его можно использовать для создания реалистичных синтетических данных для обучения моделей и улучшения мер безопасности, но он также может нести риски при использовании в злонамеренных целях, например, при создании убедительных фишинговых писем или атаках социальной инженерии с использованием deepfake. Это подчеркивает важность разработки надежных механизмов защиты и обнаружения для снижения потенциальных угроз.

 

[Merfi]

Каковы риски ИИ в кибербезопасности​

Как и любая технология, ИИ может использоваться как во благо, так и в злонамеренных целях. Злоумышленники могут использовать те же инструменты ИИ, которые предназначены для помощи человечеству, для совершения мошенничества, обмана и других киберпреступлений.

Давайте рассмотрим некоторые риски ИИ в кибербезопасности:

1: Оптимизация кибератак​

Эксперты говорят, что злоумышленники могут использовать генеративный ИИ и большие языковые модели, чтобы масштабировать атаки до невиданных уровней скорости и сложности. Они могут использовать генеративный ИИ, чтобы находить новые способы подрыва сложности облачных технологий и использовать геополитические напряжённости для проведения продвинутых атак. Они также могут оптимизировать свои техники атак с использованием программ-вымогателей и фишинговых атак благодаря генеративному ИИ.

2: Автоматизированное вредоносное ПО​

ИИ, такой как ChatGPT, отлично справляется с точными вычислениями. По словам профессора Колумбийской бизнес-школы Одеда Нетцера, ChatGPT уже может "хорошо писать код."

Специалисты считают, что в ближайшем будущем он может помочь разработчикам программного обеспечения, программистам и кодерам или вытеснить большую часть их работы.

Хотя в программном обеспечении, таком как ChatGPT, есть некоторые механизмы защиты, предотвращающие создание пользователями вредоносного кода, эксперты могут использовать хитрые трюки, чтобы обойти их и создавать вредоносные программы. Например, исследователь нашёл лазейку и создал почти не заметное сложное исполняемое приложение для кражи данных. Это приложение имеет сложность вредоносного ПО, созданного государственной спонсируемой группировкой*.

Это может быть лишь верхушка айсберга. В будущем инструменты, работающие на базе ИИ, могут позволить разработчикам с начальными навыками программирования создавать автоматизированные вредоносные программы, такие как продвинутые злонамеренные боты. Так, что такое злонамеренные боты? Злонамеренный бот может красть данные, заражать сети и атаковать системы с минимальным или отсутствием участия человека.

3: Физическая безопасность​

По мере того как больше систем, таких как автономные автомобили, производственное и строительное оборудование, а также медицинские системы начинают использовать ИИ, риски для физической безопасности, связанные с искусственным интеллектом, могут увеличиваться. Например, если ИИ-управляемый автомобиль с полностью самостоятельным вождением станет жертвой кибератаки, это может создать риски для физической безопасности его пассажиров. Аналогично, набор данных для инструментов технического обслуживания на строительной площадке может быть манипулирован злоумышленником для создания опасных условий.

Риски конфиденциальности в ИИ​

В результате досадной ошибки в OpenAI, генеральному директору Сэму Альтману ChatGPT приписывается утечка фрагментов истории чатов других пользователей. Хотя ошибка была исправлена, остаются другие возможные риски для конфиденциальности из-за огромного объема данных, которые ИИ обрабатывает. Например, хакер, который взломает систему ИИ, может получить доступ к различной конфиденциальной информации.

Система ИИ, предназначенная для маркетинга, рекламы, профилирования или наблюдения, также может угрожать конфиденциальности способами, которые Джордж Оруэлл даже не мог себе представить. В некоторых странах технология ИИ для профилирования уже помогает государствам вторгаться в личную жизнь пользователей.

Кража ИИ-моделей​

Риски кражи моделей ИИ существуют из-за сетевых атак, методов социальной инженерии и эксплуатации уязвимостей зловредами, такими как государственные агенты, внутренние угрозы в виде корпоративных шпионов и обычные компьютерные хакеры. Похищенные модели могут быть манипулирована и модифицирована для помощи злоумышленникам в различных злонамеренных действиях, усугубляя риски искусственного интеллекта для общества.

Манипуляция данными и отравление данных​

Хотя искусственный интеллект — мощный инструмент, он может быть уязвим к манипуляциям данными. Ведь ИИ зависит от своих обучающих данных. Если данные изменены или отравлены, инструмент на базе ИИ может генерировать неожиданные или даже злобные результаты.

Теоретически злоумышленник может отравить тренировочный набор данных зловредной информацией, чтобы изменить результаты модели. Злоумышленник также может осуществить более тонкую манипуляцию, известную как введение предвзятости. Такие атаки могут быть особенно опасны в таких отраслях, как здравоохранение, автомобильная промышленность и транспорт.

Самозванство​

Вы не должны искать дальше, чем киноиндустрия, чтобы увидеть, как инструменты на базе ИИ помогают режиссерам обманывать зрителей. Например, в документальном фильме Роудраннер голос умершего знаменитого шеф-повара Энтони Бурдена был спорно создан с помощью аудио, сгенерированного искусственным интеллектом, что легко обмануло зрителей. Подобным образом, ветеран-актер Харрисон Форд был убедительно омоложен на несколько десятилетий с помощью возможностей искусственного интеллекта в фильме Индиана Джонс и Круг судьбы.

Злоумышленнику не нужен большой голливудский бюджет, чтобы провернуть похожий обман. С правильными кадрами любой может создать deepfake-видео с помощью бесплатных приложений. Люди также могут использовать бесплатные инструменты на базе ИИ для создания невероятно реалистичных поддельных голосов, обученных на нескольких секундах аудио.

Так что неудивительно, что ИИ теперь используется для виртуальных похищений. Дженнифер Дестефано пережила худший кошмар родителя, когда её дочь позвонила ей, крича и рыдая. Её голос был заменён мужчиной, который угрожал её накачать наркотиками и мучить, если не заплатят выкуп в миллион долларов.

Подвох в том, что эксперты считают, что голос был сгенерирован с помощью ИИ. Правоохранительные органы считают, что помимо схем виртуального похищения, ИИ может помочь преступникам в других видах мошенничества, включая схемы с дедушками и бабушками.

Генеративный ИИ также может создавать текст от лица влиятельных деятелей. Киберпреступники могут использовать этот текст для проведения различных видов мошенничества, таких как фальшивые раздачи, инвестиционные предложения и пожертвования на таких платформах, как электронная почта или социальные сети, включая Twitter.

 

[Merfi]

Более продвинутые атаки​

Как уже упоминалось, злоумышленники могут использовать ИИ для создания продвинутого вредоносного ПО, имитации других людей для мошенничества и отравления данных обучения ИИ. Они могут использовать ИИ для автоматизации атак, таких как фишинг, вредоносное ПО и stuffing-атаки. ИИ также может помочь атакам обходить системы безопасности, такие как программное обеспечение для распознавания голоса, в атаках, называемых противоборственными атаками.

Репутационные потери​

Организация, пользующаяся ИИ, может понести репутационные потери, если технологии дают сбой или подвергаются кибератаке, что приводит к потере данных. Такие организации могут столкнуться со штрафами, гражданскими взысканиями и ухудшением отношений с клиентами.

Как защититься от рисков ИИ​

Хотя искусственный интеллект — мощный инструмент, он может представлять некоторые риски для кибербезопасности. Как индивидуумы, так и организации должны принимать всесторонний и проактивный подход для безопасного использования технологии.

Вот несколько советов, которые могут помочь вам снизить риски ИИ:

1: Проведите аудит любых ИИ-систем, которые вы используете​

Проверяйте текущую репутацию любых ИИ-систем, которые вы используете, чтобы избежать проблем с безопасностью и конфиденциальностью. Организации должны периодически проводить аудит своих систем, чтобы устранить уязвимости и снизить риски ИИ. Аудит можно проводить с помощью экспертов в области кибербезопасности и искусственного интеллекта, которые могут выполнить тестирование на проникновение, оценку уязвимостей и обзор систем.

2: Ограничьте персональную информацию, передаваемую через автоматизацию​

Все больше людей делятся конфиденциальной информацией с искусственным интеллектом, не понимая рисков для частной жизни. Например, сотрудники крупных организаций ставили под угрозу вводя конфиденциальные данные компании в ChatGPT. Даже врач отправил имя своего пациента и медицинское состояние в чатбот, чтобы составить письмо, не осознавая риски безопасности ChatGPT.

Такие действия представляют риски для безопасности и нарушают законы о конфиденциальности, такие как HIPAA. Хотя языковые модели ИИ могут и не раскрывать информацию, разговоры записываются для контроля качества и доступны командам по обслуживанию системы. Поэтому лучше избегать передачи какой-либо личной информации ИИ.

3: Безопасность данных​

Как уже упоминалось, ИИ зависит от своих обучающих данных для достижения хороших результатов. Если данные изменены или отравлены, ИИ может создавать неожиданные и опасные результаты. Чтобы защитить ИИ от отравления данных, организации должны инвестировать в передовые технологии шифрования, контроля доступа и резервного копирования. Сети должны быть защищены с помощью межсетевых экранов, систем обнаружения вторжений и сложных паролей.

4: Оптимизация программного обеспечения​

Следуйте всем лучшим практикам обслуживания программного обеспечения, чтобы защитить себя от рисков ИИ. Это включает обновление вашего ИИ-программного обеспечения и фреймворков, операционных систем и приложений последними исправлениями и обновлениями, чтобы снизить риск эксплуатации и нападений вредоносного ПО. Защитите свои системы с помощью антивирусной технологии нового поколения, чтобы остановить продвинутые зловредные угрозы. Более того, вкладывайте средства в обеспечение безопасности сети и приложений, чтобы укрепить свою защиту.

5: Противоборственная тренировка​

Противоборственная тренировка — это специфическая мера безопасности для ИИ, которая помогает ИИ отвечать на атаки. Методика машинного обучения улучшает устойчивость моделей ИИ, подвергая их различным сценариям, данным и техникам.

6: Обучение сотрудников​

Риски ИИ довольно широки. Проконсультируйтесь с экспертами в области кибербезопасности и ИИ, чтобы обучить своих сотрудников управлению рисками ИИ. Например, они должны научиться проверять факты, содержащиеся в электронных письмах, которые могут быть фишинговыми атаками, созданными ИИ. Также они должны избегать открытия непрошенного программного обеспечения, которое может быть зловредной программой, созданной искусственным интеллектом.

7: Управление уязвимостями​

Организации могут инвестировать в управление уязвимостями ИИ, чтобы снизить риск утечек данных и потерь. Управление уязвимостями представляет собой полный процесс, который включает идентификацию, анализ и триаж уязвимостей, а также уменьшение области атаки, связанной с уникальными характеристиками систем ИИ.

8: Реагирование на инциденты с ИИ​

Несмотря на наличие лучших мер безопасности, ваша организация может подвергнуться атаке, связанной с кибербезопасностью ИИ, поскольку риски искусственного интеллекта растут. У вас должен быть чётко прописанный план реагирования на инциденты, который охватывает сдерживание, расследование и восстановление после подобного события.

 

[Merfi]

Обратная сторона: как ИИ может принести пользу кибербезопасности ​

Организации различного размера и в разных секторах используют ИИ для усиления кибербезопасности. Например, все виды организаций по всему миру используют ИИ для аутентификации личностей, от банков до правительств. Финансовая отрасль и рынок недвижимости также используют ИИ для обнаружения аномалий и снижения риска мошенничества.
Вот как ИИ помогает кибербезопасности:

1: Обнаружение киберугроз ​

Сложное вредоносное ПО может обойти стандартные технологии кибербезопасности, используя различные техники обхода, включая изменение кода и структуры. Однако продвинутые программы антивирусной защиты могут применять ИИ и машинное обучение для выявления аномалий в общей структуре, логике программирования и данных потенциальной угрозы.
Инструменты обнаружения угроз на основе ИИ могут защитить организации, выявляя эти возникающие угрозы и улучшая возможности предупреждения и реагирования. Более того, программное обеспечение безопасности конечных точек на базе ИИ может защитить ноутбуки, смартфоны и серверы в организации.

2: Предсказательные модели ​

Специалисты по кибербезопасности могут перейти от реактивной к проактивной позиции, используя генеративный ИИ. Например, они могут использовать генеративный ИИ для создания предсказательных моделей, которые идентифицируют новые угрозы и снижают риски.
Такие предсказательные модели приведут к:

• Более быстрой идентификации угроз
• Экономии времени
• Уменьшению затрат
• Улучшению реакции на инциденты
• Лучшая защита от рисков

3: Обнаружение фишинга ​

Фишинговые письма представляют собой значительную угрозу безопасности. С минимальным риском злоумышленники могут использовать фишинг для кражи конфиденциальной информации и денег. Более того, фишинговые письма становятся всё труднее отличить от настоящих писем.
ИИ может помочь кибербезопасности, улучшая защиту от фишинга. Фильтры электронной почты с ИИ могут анализировать текст, чтобы отмечать письма с подозрительными шаблонами и блокировать различные типы спама.

4: Идентификация ботов ​

Боты могут навредить или вывести из строя сети и вебсайты, негативно влияя на безопасность, продуктивность и доходы организации. Боты также могут захватывать учетные записи с украденными учетными данными и помогать киберпреступникам участвовать в мошенничестве и аферах.
Программное обеспечение, использующее модели на основе машинного обучения, может анализировать трафик сети и данные, чтобы выявлять паттерны ботов и помогать экспертом в области кибербезопасности противодействовать им. Сетевые специалисты также могут использовать искусственный интеллект для разработки более безопасных CAPTCHA против ботов.

5: Защита сетей ​

Злоумышленники могут похищать данные или заражать системы программами-вымогателями после проникновения в сеть. Раннее обнаружение таких угроз критически важно. Обнаружение аномалий на основе ИИ может сканировать сетевой трафик и системные журналы для выявления несанкционированного доступа, необычного кода и других подозрительных моделей, чтобы предотвратить взломы. Кроме того, ИИ может помочь сегментировать сети, анализируя требования и характеристики.

6: Реагирование на инциденты ​

ИИ может улучшить обнаружение угроз, управление угрозами и реагирование на инциденты. Он может работать круглосуточно, отвечая на угрозы и предпринимая экстренные действия, даже когда ваша команда офлайн. Вдобавок, он может сократить время реагирования на инциденты, чтобы минимизировать ущерб от атаки.

7: Снижение рисков внутренней угрозы ​

Внутрикорпоративные угрозы следует воспринимать всерьез, так как они могут стоить организации доходов, коммерческих тайн, конфиденциальных данных и многого другого. Существует два типа внутренних угроз: злонамеренные и случайные. ИИ может помочь остановить оба типа, выявляя рискованное поведение пользователей и блокируя отправку конфиденциальной информации из сетей организации.

8: Усиление контроля доступа ​

Многие инструменты контроля доступа используют ИИ для повышения безопасности. Они могут блокировать входы с подозрительных IP-адресов, помечать подозрительные события и предлагать пользователям с слабыми паролями изменить свои учетные данные и перейти на многофакторную аутентификацию.
ИИ также помогает верифицировать пользователей. Например, он может использовать биометрию, контекстную информацию и данные о поведении пользователей для точной проверки личности авторизованных пользователей и снижения риска злоупотреблений.

9: Идентификация ложных срабатываний ​

Ложные срабатывания могут быть утомительными в управлении для IT-команд. Большой объем ложных срабатываний может вызвать стресс и ухудшение психического здоровья. Они также могут заставить команды упустить настоящие угрозы. Тем не менее, объем ложных срабатываний можно уменьшить с помощью инструментов кибербезопасности, использующих искусственный интеллект для повышения точности обнаружения угроз. Такие инструменты также могут быть запрограммированы на автоматическое управление низковероятными угрозами, отвлекающими время и ресурсы команды по безопасности.

10: Эффективность работы IT-персонала и затраты ​

Многие малые и средние компании не могут позволить себе вложения в большую внутреннюю команду по кибербезопасности для круглосуточного управления всё более сложными угрозами. Однако они могут вложиться в технологии кибербезопасности на базе ИИ, которые работают 24/7, чтобы обеспечивать постоянный мониторинг, повышать эффективность и снижать затраты. Такие технологии также могут масштабироваться вместе с ростом компании экономично.
Кроме того, ИИ повышает эффективность работы персонала, потому что он не устает. Он предоставляет одинаковое качество обслуживания в любое время суток, снижая риск человеческой ошибки. ИИ также может управлять значительно большим объемом данных, чем команда человеческой безопасности.

 

[Merfi]

Искусственный интеллект в кибербезопасности​

Технологии искусственного интеллекта в кибербезопасности постоянно развиваются, данная область характеризуется ростом инвестиций, новыми стартапами и технологическими прорывами. Искусственный интеллект в кибербезопасности представляет широкие возможности, но у специалистов есть опасения относительно того, что злоумышленники могут также использовать эти технологии. Калифорнийский институт безопасности и технологий (1ST) выпустил исследование о текущем состоянии искусственного интеллекта в кибербезопасности, в котором делится прогнозами и рекомендациями.

Для отчета авторы использовали последние научные исследования, включая работы Института Аспена о будущем с искусственным интеллектом (ИИ), и результаты собственных опросов и интервью с представителями отрасли, консалтинговыми компаниями и исследователями угроз о том, как специалисты в настоящее время используют ИИ-технологии и интегрируют их, а также о связанном с этим изменением ландшафта угроз.

В отчете делается вывод о том, что в ближайшей перспективе ИИ дает специалистам по кибербезопасности значительное преимущество. Однако злоумышленники также используют ИИ для расширения своих возможностей, что делает непрерывные инвестиции и инновации в кибербезопасность с использованием ИИ критически важными.

В результате исследования авторы сделали пять выводов, которые отражают текущее положение, а также перспективы изменения ландшафта кибербезопасности с помощью ИИ.

Искусственный интеллект в анализе киберугроз​

ИИ существенно помогает как безопасникам, так и правонарушителям в анализе огромных объемов данных, быстро обрабатывая информацию и генерируя выводы. Применение ИИ в разведке киберугроз стремительно меняет то, как организации обнаруживают, анализируют и реагируют на возникающие угрозы на протяжении всего цикла разведки угроз.

Напротив, злоумышленниками ИИ поможет быстро интерпретировать файловую структуру и предсказывать, где хранятся ключи доступа к облачным сервисам или файл резервной копии. Такие возможности могут помочь хакеру, который наткнулся на уязвимую систему, понять «Где я? Что делает эта система? К чему у нее есть доступ?»

В качестве рекомендации авторы отчета советуют защищать конфиденциальные данные от вредоносного контент-анализа с помощью ИИ путем шифрования данных, предоставлять доступ с минимальными привилегиями, использовать многофакторную аутентификацию.

Дипфейки и фишинг с использованием искусственного интеллекта ставят под угрозу традиционные методы аутентификации и доверие людей

Способность ИИ создавать убедительные синтетические личности ставит системы управления доступом под угрозу. Точность имитаций, управляемых ИИ, настолько эффективна, что они могут даже обходить традиционные методы аутентификации.

В отчете говорится, что «системы биометрической аутентификации, использующие распознавание лиц или анализ голоса, уже были скомпрометированы технологией deepfake в нескольких случаях».

Нарушения с биометрическими персональными данными могут привести к поддельным атакам с использованием ИИ, но обнаружение атак на «liveness detection» уже широко используется в качестве защиты от таких атак.

Liveness detection — это метод безопасности, который проверяет, является ли человек живым или поддельным представлением. Это ключевая часть систем биометрической аутентификации, которая используется для предотвращения доступа мошенников к системам с использованием украденных или реплицированных биометрических данных.

Эксперты рекомендуют:

• внедрить многоуровневый подход к проверке подлинности, использовать водяные знаки наряду с другими методами определения происхождения контента, а также поддерживать разработку и принятие открытых стандартов для проверки цифрового контента.
• внедрить решения физической аутентификации, использующие криптографию с открытым ключом (например, стандарты FIDO2), и опять же советуют использовать многофакторную аутентификацию.
• Повышать уровень осведомленности общества, поощрять внедрение адаптивных инструментов обнаружения, которые будут отмечать для пользователей ложный контент, создаваемый искусственным интеллектом.

Искусственный интеллект делает программное обеспечение более безопасным​

ИИ улучшает написание кода, его проверку и обнаружение уязвимостей, но также может создавать новые риски. Человеческие ошибки и сложность обнаружения уязвимостей усугубляют проблемы обеспечения безопасности программного обеспечения. Поскольку модели повысили скорость генерации кода, неудивительно, что использование ИИ для написания и проверки стало популярным, что заставило многих надеяться, что ИИ может облегчить всевозможные проблемы, связанные с программным обеспечением.

Хотя ИИ может повысить безопасность программного обеспечения за счет помощи в кодировании, управления уязвимостями и фаззинга, эти же возможности могут быть использованы злоумышленниками в вредоносных целях.

Кроме того, исследователи подняли вопросы, связанные с человеческим фактором и с тенденцией чрезмерно полагаться на инструменты, повышающие эффективность. Текущие оценки моделей ИИ часто подчеркивают правильность кода, упуская из виду его последствия для безопасности.

Исследователи рекомендуют сочетать автоматизацию с человеческим опытом, внедрить строгие процессы обеспечения качества для кода, сгенерированного ИИ, развивать культуру критической оценки, использовать ИИ для задач с низким уровнем риска, постепенно увеличивая их сложность.

Искусственный интеллект в кибербезопасности произведет революцию​

ИИ оптимизирует и улучшает различные операции по кибербезопасности и является фактором повышения эффективности.

Владельцы систем должны иметь сравнительное преимущество перед злоумышленниками в одном аспекте: они понимают внутреннюю структуру и данные, хранящиеся в сети. Авторы отчета считают, что это преимущество часто не реализуется, так как многие специалисты по кибербезопасности утопают в данных, оповещениях и задачах, которые переполняют их системы.

ИИ может позволить профессионалам в области кибербезопасности использовать передовые инструменты, оптимизировать сложные задачи и сосредоточиться на принятии стратегических решений более высокого уровня, а не на рутинных операциях.

Авторы исследования советуют интегрировать модели ИИ в существующие фреймворки безопасности и считают, что ключевые решения должен принимать человек. Также они рекомендуют внедрять комплексные меры безопасности для ИИ-моделей, включая управление данными и управление жизненным циклом.