ИИ и кибербезопасность

[DarthWader]

С чего все началось
Одна из первых задач, которую стали решать с помощью методов машинного обучения, — обнаружение спама за счет распознавания шаблонов. Применение искусственного интеллекта в кибербезопасности позволило обрабатывать огромные объемы данных на скоростях, недоступных даже опытным специалистам. И это определило дальнейшее развитие технологий искусственного интеллекта в сфере информационной безопасности.

Как работает искусственный интеллект в кибербезопасности
Напомним, что приведенная ниже инструкция на некоторых моделях смартфонов может не сработать. Прежде чем получить root-права на Андроид свежей версии, нужно немного подстраховаться. Может потребоваться восстановить данные из-за сбоя при Искусственный интеллект пока не может полностью взять на себя заботу о безопасности в сети. Но опосредованно помогает обезопасить данные, сохранить репутацию компаний, защитить детей в интернете и решить другие вопросы, связанные с обеспечение безопасности,

— за счет оптимизации процессов.

Позволяет избежать ошибок, связанных с человеческим фактором

В обеспечении информационной безопасности по-прежнему много процессов, которые контролируются человеком хотя бы на одном из этапов, и именно в этих точках обычно возникают уязвимости. Машинное обучение — это автоматизация максимально возможного количества процессов и устранение слабых мест.

Повышает эффективность работы системы

В то время, как эффективность ручного труда при воспроизведении повторяющихся действий постепенно снижается, искусственный интеллект способен выполнять в разы больше работы, не уставая и не теряя концентрацию.

Сокращает время реагирования на атаки

Злоумышленники постоянно сокращают время проведения атак — так, например, атаки с помощью шифровальщиков LockBit разворачиваются всего за полчаса, и можно просто не успеть принять меры. Системы защиты на основе ИИ позволяют обнаруживать атаки и принимать решения по их отражению быстрее.


Позволяет точнее прогнозировать и эффективнее выявлять новые угрозы

Хакеры постоянно придумывают новые виды атак — специалисты могут не сразу сориентироваться или вообще не обнаружить угрозу в такой ситуации. Искусственный интеллект помогает и здесь: программы на основе машинного обучения распознает атаку, выявив общие черты у новой угрозы и тех, что были обнаружены ранее.

Снижает градус гонки за специалистами

Экспертов по защите данных постоянно не хватает — как и в большинстве сфер, где применяется AI, специалисты не выпали из процесса, а лишь разделили обязанности с искусственным интеллектом. Однако с применением ИИ в кибербезопасности можно сократить штат специалистов без ущерба эффективности.

Прямо сейчас, отвечая на вопрос, что такое ИИ в кибербезопасности, можно сказать, что это — в первую очередь возможность усовершенствовать уже существующие инструменты обеспечения защиты информации. Искусственный интеллект позволяет принимать меры для предотвращения и отражения атак быстрее, повышая шансы в борьбе с киберпреступниками.

 

[DarthWader]

Где используется ИИ в информационной безопасности
Круг задач достаточно широк. Искусственный интеллект умеет:

анализировать поведение пользователей и систем,

управлять доступом и аутентификацией,

обнаруживать фишинг и спам в электронной почте,

защищать сетевые инфраструктуры с помощью интеллектуальных брандмауэров,

обеспечивать мониторинг сети для предотвращения угроз,

в автоматическом режиме реагировать на инциденты ситуации угрозы безопасности для минимизации ущерба,

обнаруживать и предотвращать утечки данных.

Если говорить о продвинутых генеративных моделях искусственного интеллекта, то им доступны более сложные задачи:

анализ уязвимости кода,

сбор контекста событий в сфере информационной безопасности,

выявление неявных связей — например, распознание фишинговых сообщений по тексту, написанному с помощью искусственного интеллекта.

Также набирают популярность AI-решения для блокировки ботов — они умеют распознавать вредоносные боты, которые злоумышленники создают для атак на веб-ресурсы, кражи конфиденциальных данных и проведения других мошеннических операций.
Так ли безопасна кибербезопасность на основе ИИ
Высокая точность, скорость, автоматизация — кибербезопасность для бизнеса действительно нуждается в AI-решениях. Но, разумеется, использование ИИ в кибербезопасности предполагает свои ограничения и сложности.

У инструментов на основе искусственного интеллекта сложные алгоритмы. Это затрудняет работу с ними, потому что даже опытные специалисты по безопасности не всегда могут их понять. А значит, нельзя гарантировать на 100% надежную защиту.

ИИ-инструментами можно манипулировать. Иногда киберпреступники специально передают системам на основе искусственного интеллекта неверные данные, чтобы вывести защиту из строя. И, конечно, они придумывают новые способы «взломать» ИИ-системы.

Искусственный интеллект может создавать проблемы с конфиденциалностью. Системы на базе AI потребляют колоссальные объемы данных; в определенный момент они могут затронуть данные, которые не должны были оказаться в системе.

Системы на базе ИИ могут срабатывать ложно. Иногда они ошибочно распознают законную деятельность как угрозу и вызывают сбои в работе сети.

ИИ-системы не на 100% эффективны без участия человека. Многие процессы в кибербезопасности действительно удается автоматизировать с помощью искусственного интеллекта. Но в изоляции от человека модели могут принимать неправильные решения, так как просто не могут учесть ряд особенностей.

Тем не менее, без помощи искусственного интеллекта противостоять угрозам становится сложнее. Ведь, как уже было сказано в начале статьи, злоумышленники и сами стали активными пользователями нейросетей.

 

[DarthWader]

Решения в сфере кибербезопасности на основе ИИ, которые уже существуют
Даже системы, аналогичные ChatGPT, могут быть полезны для защиты данных и бизнеса от кибератак. Так, GigaChat Сбера, встроенный по API, может создавать чат-боты для обнаружения фишинговых атак, распознавать подозрительные ссылки и создавать инструменты анализа данных для выявления аномалий в поведении пользователей.

Существует уже несколько сервисов, которые обнаруживают аномалии еще до начала атаки. Так работает Ankey ASAP — платформа, которая обеспечивает безопасное управление правами пользователей, и ее аналоги — Okta, Azure Active Directory, JumpCloud, OneLogin.

Активно развиваются технологии обнаружения дипфейков — как аудио, так и видео. Часть решений работают за счет анализа частоты электрической сети (ENF), встроенной в аудио- и видеозаписи: если запись содержит частоты, не соответствующие реальному источнику, можно заподозрить подделку. Resemble AI способен анализировать голосовые параметры по 265 признакам и точно определять, кому принадлежит голос. Искусственный интеллект можно интегрировать в корпоративные мессенджеры для расшифровки голосовых вызовов — например, в виде сервиса InfoWatch.

В Австралии специалисты по кибербезопасности создали чат-бот Apate на основе искусственного интеллекта, который умеет имитировать человеческий голос и способен вести диалог с мошенником до 40 минут. Решение «Аура» от VS Robotics позволяет пойти дальше и во время реального диалога с мошенником анализировать реплики и сопоставлять их с пороговым значением «ключевых» слов, а затем отправлять голосовое уведомление о том, что звонок является мошенническим.

 

[DarthWader]

Microsoft Security Copilot ежедневно помогает бизнесу защищать своих пользователей, активы и репутацию: в частности, компании QNET удалось повысить эффективность реагирования на угрозы на 60% после внедрения инструмента.

Компания Darktrace использовала ИИ для создания системы реагирования на кибератаки в реальном времени. После крупной атаки в 2018 году решение Darktrace внедрила авиакомпания British Airways, и смогла улучшить обнаружение аномалий и предотвратить будущие атаки.

Разумеется, перечисленное — далеко не все возможности, которые искусственный интеллект уже сейчас предлагает пользователям. Компании по всему миру создают решения, позволяющие использовать искусственный интеллект на благо конфиденциальности, и это только начало.

Есть ли будущее у ИИ в кибербезопасности​

По данным исследования НИУ ВШЭ среди российских компаний, использующих решения на базе ИИ, каждая вторая планирует расширить уровень их применения и примерно каждая шестая намерена шире использовать системы кибербезопасности.

Однако интеграция любых подобных решений в ИТ-инфраструктуру происходит с задержкой — на сегодняшний день у использования ИИ в кибербезопасности есть несколько серьезных ограничений.

Во-первых, машинное обучение в кибербезопасности требует данных, однако их использование может не соответствовать законам о конфиденциальности. Решением могут стать системы, которые будут блокировать доступ к исходным данным после обучения, однако разработка таких инструментов требует глубокого изучения, так как может привести к искажению логики программ.

Во-вторых, в отрасли не хватает экспертов по кибербезопасности, специализирующихся именно на инструментах на базе ИИ, которые умеют внедрять и настраивать их. При этом до автономных защитников конфиденциальности на базе искусственного интеллекта пока далеко — моделям машинного обучения нужны люди.

 

[DarthWader]

Кибербезопасность и искусственный интеллект: что дальше

Искусственный интеллект может анализировать огромные объемы данных, мгновенно реагировать на события и адаптироваться к изменяющимся тактикам злоумышленников. Применение ИИ в информационной безопасности действительно целесообразно, поэтому с каждым годом компаний, заинтересованных в его внедрении, становится больше.

Однако следует понимать: искусственный интеллект — не панацея.

Меры, которые принимались для сохранения конфиденциальность данных в интернете до появления AI-инструментов, по-прежнему актуальны. Искусственный интеллект может эффективнее обнаруживать угрозы, но никак не мешает мошенникам пробовать новые схемы. Новые угрозы будут появляться в любом случае, и забывать о базовых правилах безопасности нельзя, какими бы современными инструментами на базе AI вы ни пользовались. Цифровую архитектуру необходимо укреплять комплексно, заботясь и о повышении осведомленности персонала, и об актуальности политик безопасности

 

[DarthWader]

ИИ на каждом этапе обеспечения ИБ
Предупреждение
С помощью искусственного интеллекта сторона защиты может заранее определять, прогнозировать и предупреждать актуальные киберугрозы, а значит и получить больше времени на обеспечение защиты и подготовку к отражению атак.

Анализ защищенности компании

Одно из главных требований в сфере обеспечения информационной безопасности компании — понимание собственной инфраструктуры и актуальных для нее киберугроз. Помочь автоматизировать анализ защищенности компании могут решения с искусственным интеллектом. Генеративные ИИ-ассистенты позволяют специалистам по безопасности, задавая вопросы на естественном языке, анализировать угрозы и риски для организации. Например, модуль Charlotte AI, разработанный CrowdStrike, отвечает на вопросы, в том числе про наличие в инфраструктуре уязвимостей, их уровень риска, оптимальные действия для улучшения защиты организации и потенциально нацеленных на компанию киберпреступников.

 

[DarthWader]

решений типа BAS (breach and attack simulation, симуляция взлома и атаки). Инструменты BAS и автопентесты имитируют атаки и могут потенциально применять технологии ИИ для множества различных подзадач. Например, в PT Dephaze генеративный ИИ может применяться для создания подборок наиболее вероятных паролей для конкретной цели, анализа текстовых файлов тестируемой системы, формирования понятного отчета по результатам симуляции атак.

OSINT актуальных киберугроз

ИИ в OSINT позволяет эффективно искать, собирать и анализировать данные для прогнозирования угроз. С помощью ИИ можно решать точечные задачи в определении актуальных угроз, например определять трендовые уязвимости, наиболее опасные и активно эксплуатируемые киберпреступниками. Согласно нашим данным, в среднем с момента появления эксплойта до его активной эксплуатации проходит около 24 часов, поэтому важно как можно раньше определять актуальные уязвимости и начинать их закрывать. Анализируя активность обсуждения уязвимостей в открытых источниках, например в кибербез-сообществах в социальных сетях, можно выявить трендовые уязвимости — как новые, так и давно известные. По активности обсуждения можно заранее определить уязвимости, на которые киберпреступники нацелятся в ближайшее время. Такой подход применяется в MaxPatrol VM: каждый день модель вычисляет предсказания об эксплуатации уязвимостей на основе десятка параметров, а после анализа отправляет экспертам топ-20 самых опасных на основе своего прогноза.

В будущем технологии искусственного интеллекта позволят решать и более глобальные задачи, связанные со сбором информации и предиктивным определением угроз. Собирая данные из различных открытых источников, можно сформировать потенциальный профиль угроз компании, учитывающий ее инфраструктуру и поставщиков, актуальные мотивы и возможности киберпреступных группировок, потенциально нацеленных на организацию. Автоматизированный предиктивный анализ не просто быстрее ручного сбора и обработки информации — он может осуществляться в постоянном режиме, а значит оперативно предоставлять службе безопасности компании данные об актуальных киберугрозах для выстраивания эффективного плана, приоритезации действий и заблаговременной реализации шагов по обеспечению результативной кибербезопасности.

 

[DarthWader]

Возможность искусственного интеллекта анализировать большие объемы данных помогает при обработке не только технической информации, но и документации компании. В документах могут содержаться различные типы конфиденциальных данных, в том числе распределенные по разным неструктурированным полям. Отслеживать такие вкрапления чувствительной информации обычными средствами без ИИ очень сложно и долго, особенно учитывая объемы документации. ИИ может эффективно решат эту проблему: распознавать конфиденциальные данные в документах независимо от их поля, а также гибко корректировать документ в зависимости от уровня допуска открывающего его сотрудника и задачи. Например, заретушировать часть персональных данных работника компании, когда документ открывает бухгалтер, или заменить на обезличенную информацию, сохраняющую все свойства оригинальной, если документ нужно обработать внешним сервисом или использовать для обучения другой модели. Фильтрация и модификация выдаваемой информации потенциально поможет защитить от утечки конфиденциальных данных, наиболее частого (54%) последствия кибератак на организации в 2024 году.

Важно учитывать, если документы единообразны, а конфиденциальные данные в них всегда содержатся в одном конкретном поле, искусственный интеллект только замедлит и усложнит процесс, который можно организовать намного проще. Но такая идеальная картина встречается далеко не всегда, поэтому наилучших результатов можно добиться лишь комбинируя классические подходы к обработке данных (для решения стандартных ситуаций) с ИИ-решением (для нешаблонных случаев).

Обнаружение
Самое распространенное применения ИИ в защите — обнаружение вредоносной и аномальной активности. С помощью технологий искусственного интеллекта можно эффективно анализировать большие объемы данных, в разрезе обнаружения угроз это позволяет обнаруживать ВПО в потоке трафика, детектировать отклонения в поведении пользователей, фильтровать события безопасности, определять фишинговые письма и сгенерированный с помощью ИИ контент.

Обработка событий безопасности

 

[DarthWader]

ИИ-технологии позволяют ускорить проверку кода, поиск уязвимостей, обнаружение потенциально вредоносных фрагментов и генерацию проверочных тестов. Кроме того, ИИ может использоваться для реверс-инжиниринга кода, поиска скрытых вредоносных возможностей, например, в подключаемых к проекту репозиториях. ИИ может внедряться как в статический, так и в динамический методы анализа кода.

Статический анализ направлен на поиск потенциальных проблем в программном коде без его исполнения, в процессе разработки. С помощью статического анализа можно на раннем этапе выявить уязвимости и баги, а значит проще и дешевле исправлять их. Инструменты для статического анализа с ИИ-технологиями, например Snyk, обучаются на больших объемах программного кода и позволяют обнаруживать такие потенциальные проблемы, как возможность внедрения SQL-кода, XSS-уязвимости или забытые в коде ключи и пароли. Существенный плюс применения ИИ — модели не только обнаруживают уязвимости, но и сразу предлагают разработчику варианты решения проблемы, выступая в роли второго пилота.

Динамический анализ, в отличие от статического, проверяет код во время выполнения и применяется для обнаружения уязвимостей, которые можно выявить только после запуска программы. Наиболее яркий пример внедрения ИИ-технологий в динамический анализ — фаззинг-тестирование, при котором программе на вход подаются случайные или некорректные данные для проверки того, не нарушится ли работа приложения в таких условиях. С помощью ИИ-технологий можно не только генерировать входные данные, но и расширять покрытие кода тестами. Например, исследователи из Google сообщили, что встроенные в фаззинг LLM уже позволили им обнаружить новые уязвимости.

Потенциально ИИ-технологии позволят автоматизировать все больше процессов в тестировании кода, а значит быстрее находить и закрывать уязвимости еще до того, как ими успеют воспользоваться киберпреступники. При этом важно учитывать и возможные негативные последствия, если разработчики начнут полностью полагаться на ИИ-проверку кода. Постепенно квалификация специалистов в области безопасной разработки и проверки кода будет снижаться, что может привести к проблемам в будущем: например, пропуск уязвимости вторым пилотом приведет к выпуску уязвимого приложения. Для наибольшей эффективности необходим тандем из ИИ-помощника и специалиста, такая схема позволит совместить преимущества автоматизации проверки кода и экспертный анализ.

 

[DarthWader]

Обнаружение
Самое распространенное применения ИИ в защите — обнаружение вредоносной и аномальной активности. С помощью технологий искусственного интеллекта можно эффективно анализировать большие объемы данных, в разрезе обнаружения угроз это позволяет обнаруживать ВПО в потоке трафика, детектировать отклонения в поведении пользователей, фильтровать события безопасности, определять фишинговые письма и сгенерированный с помощью ИИ контент.

Обработка событий безопасности

По данным Microsoft, команды SOC в среднем получают 4484 срабатывания тревоги в день и тратят около 3 часов на отделение вручную реальных угроз от шума. При этом, по данным Positive Technologies, на обработку и анализ каждого события у сотрудника SOC уходит около 10 минут. В таких условиях ощутимой проблемой становятся ложноположительные срабатывания, которые неэффективно расходуют силы и время специалистов, в результате чего они могут пропустить реальную атаку. Ложноположительные срабатывания возникают из-за того, что некоторые действия злоумышленников могут маскироваться под легитимную активность пользователя, особенно когда киберпреступники применяют принцип living off the land, то есть используют только легальные инструменты, уже установленные на устройстве жертвы. Из-за этого обычные действия пользователя могут определяться правилами корреляции SIEM-системы как потенциально опасные, а значит приводить к генерации ложноположительного срабатывания. Согласно отчету SANS Survey 2024 Incident Response, 64% опрошенных компаний назвали именно ложноположительные срабатывания главной проблемой SOC.

1. Основные этапы работы системы поведенческого анализа:
   
   1. Сбор информации о нормальном поведении объекта наблюдения, включая пользователей, сетевой трафик, сведения о работе системы. Чем более широкий и подробный датасет собран, тем точнее будут вердикты модуля поведенческого анализа. Например, модуль BAD в MaxPatrol SIEM уже после недели работы создает примерный профиль инфраструктуры, в этот период становятся понятны типичные взаимодействия, задачи и процессы, а на рубеже месяца работы точность продолжает расти, так как в инфраструктуре успевают произойти все штатные задачи по расписанию (например, на рабочие места вернулись сотрудники из отпусков). Наибольшей точности модуль BAD достигает на горизонте работы в течение трех месяцев — когда собран исчерпывающий набор данных для формирования поведенческого профиля. При фиксированном времени сбора обучающего датасета также необходимо включить различные легитимные режимы работы (удаленный формат, работу в офисе, выходные, отпуска) и все выполняемые сотрудником типы задач.
   2. Обучение модели на основе собранных данных, если модель не была предобучена.

 

[DarthWader]

на основе предпочтений группы схожих клиентов рекомендовать товары или услуги, которые вероятно понравятся конкретному представителю группы. В модуле BAD подход удалось адаптировать под задачи информационной безопасности, на место клиентов встали пользователи, а на место товаров — процессы. Работающие на схожих должностях пользователи запускают примерно схожие процессы, поэтому, если один из программистов захочет установить новую IDE (integrated development environment, интегрированная среда разработки), которой раньше не пользовался, рекомендательная модель определит, что запуск процесса соответствует профилю пользователя, потому что другие программисты уже запускали такие редакторы кода, а значит аномалии нет. Совсем другая ситуация, если бухгалтер запустит на своем компьютере утилиты для разведки. Рекомендательная система определит, что этот процесс не соответствует пользовательскому профилю, а значит можно детектировать аномальное поведения.

 

[DarthWader]

В будущем технологии поведенческого анализа могут быть расширены в различных решениях не только на действия пользователя, но и на полное формирование его биометрического профиля. Такой профиль может включать различные параметры работы пользователя, например типичные движения мыши или темп нажатия клавиш клавиатуры при работе в определенных приложениях. Отслеживая поведение пользователя и сверяя его с составленным профилем, система безопасности может удостовериться, что за компьютером работает именно сотрудник.

Обнаружение угроз в сетевом трафике

С помощью искусственного интеллекта сетевой трафик можно анализировать не только для обнаружения поведенческих аномалий, но и детектировать в нем работу ВПО и вредоносную активность в HTTP-сессиях.

На примере HTTP-трафика модель машинного обучения можно обучить на ряде признаков, характерных для различного опасного содержимого этого трафика. Обученная модель будет анализировать эти признаки HTTP-сессий и искать в них подозрительные значения, которые могут говорить о потенциальной угрозе. Такое ML-решение позволяет обнаруживать новое ВПО, не определяемое с помощью экспертных правил. Например, модель, которая появится в одном из ближайших релизов PT Sandbox, еще на этапе тестирования обнаружила несколько неизвестных угроз. При этом важно отметить, что ML-решения в обозримом будущем не будут заменять экспертные правила, модели дополнят и усилят сетевые правила, позволяя эффективнее обнаруживать даже новые потенциальные угрозы.

Другой частный пример обнаружения угроз в HTTP-трафике — детектирование веб-шеллов. Веб-шеллы — это вредоносные командные оболочки для удаленного управления веб-сервером, которые нужно отделять от легитимного трафика, причем для полноты обнаружения задачу нужно решать как при запросе, так и при ответе. В первом случае можно предотвратить загрузку веб-шелла, а во втором — обнаружить его активность. В PT Application Firewall ML-модели, обнаруживающие веб-шеллы, обучены на данных из открытых источников и на примерах, встречающихся на кибербитвах Standoff, что позволяет не только увеличить полноту обнаружения (по нашим данным, на 30% относительно rule-based-подхода), но и обнаружить новые веб-шеллы.

 

[DarthWader]

Обнаружение неизвестных угроз

Одно из главных преимуществ искусственного интеллекта в кибербезопасности — возможность обнаруживать ранее неизвестные угрозы. Так, модуль BAD в MaxPatrol SIEM может определять атаки, которые не покрыты имеющимися правилами корреляции. С помощью ИИ-технологий можно обнаруживать эксплуатацию уязвимостей нулевого дня и работу неизвестного ВПО, анализируя появление аномалий и потенциально опасных паттернов действий.

Например, поведенческий ML-модуль в PT Sandbox уже несколько раз демонстрировал способность обнаруживать неизвестные угрозы, в одной из кибербитв Standoff атакующие запустили вредонос, который перед началом своей активности создал цепочку подпроцессов в количестве 100 штук. ML-модель заметила эту аномалию, в то время как классической сигнатуры для ее обнаружения в продукте не было. Новые вредоносные программы, которые еще неизвестны системам безопасности, практически невозможно обнаружить статическими методами анализа, тем более киберпреступники все время изменяют и маскируют атаки с помощью, например, обфускации вредоносных файлов или отправки ВПО с взломанных доверенных адресов электронной почты. Решение с поведенческим анализом все равно распознает угрозу, несмотря на новизну или маскировку, и позволит обеспечить защиту компании.

Распознавание фишинга и нежелательного контента

Социальная инженерия в 2024 году остается одним из основных методов киберпреступников, она применялась в каждой второй атаке на организации. Более того, в 42% атак с использованием ВПО каналом доставки были фишинговые письма. Киберпреступники мастерски манипулируют эмоциями жертв для достижения цели, поэтому в защите от фишинга недостаточно только обучения сотрудников: любой человек может совершить ошибку и не проверить вредоносное письмо.

Один из потенциальных программных методов защиты от фишинга — использование ИИ-технологий, его возможную эффективность уже демонстрировали исследователи. С помощью ИИ можно анализировать не только содержание, но и ряд контекстных признаков письма, например длину или свойства вложений. Потенциально такая система сможет обнаруживать подозрительные письма и на ранних этапах внедрения предупреждать пользователя, а при достижении необходимого для компании порога точности сразу блокировать опасные сообщения.
Искусственный интеллект появляется не только у стороны защиты, киберпреступники также стремятся использовать новые технологии в атаках. В нашем исследовании, мы уже рассказывали, что наибольших успехов во внедрении ИИ злоумышленники добились в социальной инженерии. С помощью генеративного ИИ киберпреступники автоматизируют создание фишинга, контента для ботов, а также активно дополняют классические атаки социальной инженерии дипфейками. Сгенерированный контент все время эволюционирует, и распознавать его невооруженным взглядом становится все сложнее. Помочь может ИИ-распознавание сгенерированного контента, исследователи уже показывали потенциальную эффективность этих технологий, и на рынке начинают появляться такие решения. Облегчить распознавание сгенерированного контента потенциально может согласие легальных и ответственных разработчиков генеративных моделей внедрять в создаваемый графический и аудиоконтент водяных знаков (вотермарок), но проблемой все равно остается текст, который пока не удается надежно маркировать, и это без учета потенциальной возможности киберпреступников самостоятельно создать нацеленные на мошенничество генеративные инструменты без каких-либо рамок и ограничений.

Другая потенциальная область применения ИИ в распознавании контента — обнаружение опасных сайтов. С помощью технологий ИИ можно оперативно анализировать содержимое страницы сайта в тот момент, когда пользователь решает ее посетить. При обнаружении нежелательного содержимого доступ к сайту блокируется еще до того, как пользователь оказывается на странице. На основе такой системы можно выстроить защиту от фишинговых, потенциально опасных или нежелательных для посещения с корпоративного устройства сайтов.

 

[DarthWader]

В любом случае необходимо оставаться бдительным и учиться распознавать приемы социальной инженерии без ИИ-помощников. Мы рекомендуем при получении любого сообщения, письма или звонка отвечать на несколько простых вопросов:

Сейчас неудобный момент? Я нахожусь в отпуске или на выходных, собираюсь заканчивать рабочий день?

Сообщение давит на меня срочностью, важностью, авторитетом требования? Сообщает что-то критически важное, пугающее, очень интересное или выгодное лично для меня?

В сообщении есть орфографические ошибки, проблемы с пунктуацией? Неправильно указаны должности, название компании?

Сообщение обезличено, нет обращения по имени и отчеству?

Сообщение представляет собой топорный текст с повторами?

В сообщении есть вложения, ссылки, QR-коды?

Если хотя бы на один из вопросов был ответ «да», перед вами может быть фишинговое сообщение.

Что делать:

Взять паузу на пять минут и спокойно посмотреть на ситуацию.

Проверить информацию по другим каналам: связаться с отправителем по телефону или по почте, поискать в интернете сайт или акцию приславшей письмо организации.

Если письмо кажется подозрительным, сообщите о нем отделу безопасности. Специалисты проинструктируют вас, что делать дальше.

Рекомендуем отделам безопасности проводить внутри организации обучения по распознаванию фишинга и киберучения. Всем сотрудникам нужно сообщить, что в любой момент им без предупреждения может быть отправлено фишинговое письмо. Задача сотрудников — не нажимать на ссылки в этих письмах и отправлять их отделу безопасности. Периодическая отправка таких писем подготовит сотрудников к потенциально возможной реальной атаке, а их реакция будет наглядно демонстрировать готовность организации к защите от фишинговой атаки. Мы рекомендуем варьировать темы фишинговых сообщений, ссылаться в них на глобальные события, на локальные мероприятия компании или использовать универсальные темы. Зная о таких киберучениях, сотрудники будут внимательнее относиться к каждому письму, а любое подозрительное отправлять отделу безопасности, что поможет отлавливать действительно вредоносные письма.
Фишинг не ограничивается письмами, мессенджерами и сайтами, мошенники уже расширили свой арсенал дипфейками, а значит нужно научиться распознавать их тоже. К базовым вопросам и рекомендациям уже сегодня необходимо добавить следующие признаки дипфейка:

Смена манеры и звучания речи (особенно на стыках фраз) и нетипичный для человека набор слов могут выдать искусственно сгенерированную аудиодорожку.

В видео подделка может быть заметна по неправильному движению тела и частей лица, например рта (зачастую дипфейки плохо справляются с отображением зубов) или глаз (неестественные движение зрачков и моргание).

Косвенным признаком дипфейка может быть плохое качество записи или звонка. Киберпреступники маскируют огрехи сгенерированного голоса и видео якобы плохим качеством связи.

Полученную информацию в любом случае лучше проверить по другому каналу, но мошенника можно отловить и еще раньше, задав проверочный вопрос, на который ответ может знать только реальный собеседник. Вопрос может быть абсолютно любым: что мы ели вчера на обед, какой сериал мы обсуждали на той неделе. Киберпреступник не будет знать ответ и выдаст себя.

Реагирование
Поддержка в принятии решений

ИИ-решения могут значительно ускорить реагирование, предоставляя контекст обнаруженной атаки, объясняя срабатывания систем безопасности и давая советы по приоритетным действиям. Такая поддержка позволяет специалистам намного быстрее получить необходимые данные об инциденте безопасности, а значит оперативнее принять решение. Выполняющие такую функцию второго пилота решения разрабатываются как крупными компаниями, такими как Microsoft, так и отдельными разработчиками.

Сегодня можно выделить и другой перспективный путь развития — обучение компаниями собственных LLM-ассистентов кибербезопасности. Конечно, разработка LLM с нуля — очень дорогой процесс, требующий труда высококвалифицированных специалистов в области ИИ. Вместо этого организации могут брать готовые открытые LLM и проводить fine-tuning (дообучение) на своих данных. Дополнительный существенный плюс такого решения — все чувствительные данные остаются внутри компании и не отправляются на обработку разработчику LLM.

 

[DarthWader]

Будущее ИИ в защите
Тепловые карты тактик и техник, представленных в матрицах MITRE D3FEND и ATT&CK

Чтобы оценить, в каких тактиках и техниках защиты от атак используются ИИ-технологии, мы проанализировали матрицу MITRE D3FEND.

MITRE D3FEND — это граф знаний, поддерживаемый корпорацией MITRE и разработанный для систематизации защитных методов в кибербезопасности.

Тактики — семь верхнеуровневых категорий защитных действий, условно идущих в хронологическом порядке: «Моделирование» (Model), «Укрепление защиты» (Harden), «Обнаружение» (Detect), «Изолирование» (Isolate), «Обманные действия» (Deceive), «Изгнание из системы» (Evict) и «Восстановление» (Restore).

Категории техник — столбцы матрицы, в которых представлен перечень действий и методик, связанных единым процессом обеспечения безопасности. Например, тактика «Анализ поведения пользователя» (D3-UBA: User Behavior Analysis) описывает процесс обнаружения аномалий в поведении пользователя относительно типичного профиля работы.

Техники — элементы столбцов, описывающие конкретные защитные действия и методики. Например, тактика «Анализ поведения пользователя» включает технику «Анализ передаваемых пользователем данных» (D3-UDTA: User Data Transfer Analysis). Техника описывает анализ передаваемого пользователем объема данных, по которому можно определять аномальную, потенциально несанкционированную активность.

Мы составили тепловую карту, на которой выделили, в каких тактиках, техниках и подтехниках защиты ИИ уже применяется или может применяться в будущем. Технологии искусственного интеллекта уже применяются для широкого спектра задач (4 из 7 тактик) обеспечения информационной безопасности
Все тактики и техники мы разделили на три уровня в зависимости от того, применяются ли в них технологии искусственного интеллекта.

Синий — искусственный интеллект уже применяется. В эту группу входят 28% техник, больше всего прокрыта тактика «Обнаружение» (Detect) — одно из самых сильных и перспективных направлений применения искусственного интеллекта в кибербезопасности. Сюда относится анализ поведения пользователя, сетевого трафика и исполняемых файлами действий.

Голубой — искусственный интеллект может применяться. В эту категорию входят 27% техник, в которых ИИ можно применять, но реальные решения пока что находятся на различных стадиях разработки. Примерами могут послужить тактика «Обманные действия» (ИИ может генерировать различные ловушки и приманки, имитировать работу пользователя) или категория техник «Составление карты сети» (D3-NM: Network Mapping): в будущем ИИ может применяться для сбора информации о сети, для составления полной карты, поиска и учета shadow IT.

Серый — применение искусственного интеллекта не оправдано или не принесет существенной пользы. Возможности искусственного интеллекта в информационной безопасности очень широки, но даже при условии дальнейшего развития технологии остаются и непокрытые области обеспечения защиты, например физическая проверка связанности узлов сети (D3-DPLM: Direct Physical Link Mapping).

Граф знаний MITRE D3FEND прочно связан с матрицей MITRE ATT&CK: для большинства техник указаны техники атак, от которых они защищают. На основе связей атакующих мер и защитных контрмер мы сформировали тепловую карту и соотнесли техники защиты, в которых применяются технологии ИИ, с каждой техникой атаки. Сразу можно отметить, что 100% тактик и 65% техник матрицы MITRE ATT&CK будут покрываться техниками защиты, усиленными с помощью ИИ.

 

[ilovegrecha]

За последние несколько лет статус технологий искусственного интеллекта меняется от технологической новинки, которой предсказывают покорение и изменение мира, до инструмента обработки данных, повсеместно внедряемого для решения рутинных задач в различных отраслях. В информационной безопасности технологии искусственного интеллекта пока проходят первые шаги внедрения и эксплуатации. Мы можем уверенно говорить о преимуществах внедрения ИИ в инструменты защиты: снижение нагрузки на специалистов, ускорение реагирования на инцидент за счет автоматизации рутинных процессов, поведенческий анализ пользователей и систем, обнаружение неизвестных ранее угроз. Уже сегодня ИИ выполняет роль второго пилота рядом со специалистом по кибербезопасности, дополняет и расширяет возможности классических решений для защиты. Когда технология сможет зарекомендовать себя как надежный и точный инструмент и будут решены существенные проблемы с данными, вычислительными мощностями, обучением и разработкой ИИ, мы увидим постепенный переход к полному ИИ-автопилоту для обеспечения безопасности.

 

[DarthWader]

Обучающие данные

Работа ИИ в любых областях (не только в ИБ) — один из самых ярких примеров реализации принципа garbage in — garbage out. Результат работы ИИ-решения напрямую зависит от качества обучающих датасетов. Сбор и разметка таких обучающих данных — серьезная проблема для всей области ИИ. Для привлечения людей к маркировке данных создаются специальные площадки, например Toloka. В области информационной безопасности проблема обучающих данных возникает особенно остро из-за специфики сетевых данных — перенасыщения ложноположительными срабатываниями при малом количестве атак. В реальном трафике срабатывания систем защиты встречаются редко, более того, далеко не все из них истинно положительные срабатывания: решения для ИБ могут среагировать на подозрительную, но не являющуюся вредоносной активность как на атаку. Из-за этого обучать на таких данных ИИ-модель может быть неэффективно.

Собирать насыщенные атаками сетевые данные можно либо по результатам киберучений, например Standoff, либо после работы пентестеров и решений для симуляции атак, таких как PT Dephaze. Альтернативный способ получения таких данных — вновь обратиться к ИИ и сгенерировать синтетический датасет. Синтетические обучающие данные обладают рядом потенциальных преимуществ перед реальными данными: их сбор дешевле, не требует анонимизации и маскировки данных для сохранения конфиденциальности, синтетические данные можно модифицировать и изменять в зависимости от нужд конкретной задачи. Синтетический обучающий датасет может использоваться как отдельно, так и для обогащения реальных данных специфическими признаками атак. Тем не менее нужно учитывать, что генерация качественных синтетических обучающих датасетов на сегодня остается одной из актуальных задач, которую еще предстоит решить до конца.
Выводы
Технологии искусственного интеллекта прочно закрепляются во многих профессиональных сферах, и информационная безопасность не исключение. ИИ может выполнять различные задачи на всех этапах обеспечения ИБ, ассистируя специалисту, забирая на себя рутинные задачи, расширяя возможности по обнаружению угроз. Постепенно роль технологий искусственного интеллекта в защите будет становиться все шире и больше: ИИ полноценно займет место второго пилота, а в будущем может полностью автоматизировать решение части задач в сфере обеспечения информационной безопасности.

Несмотря на широкий спектр возможных задач для ИИ, человек в области кибербезопасности пока что незаменим. Даже при уровне технологий, значительно превосходящем сегодняшний, останется множество задач для специалиста, например формирование общей стратегии защиты, контроль и управление работой ИИ-инструментов, решение сложных и нестандартных вопросов. Важно отметить, что в будущем умение эффективно работать с ИИ-инструментами будет важной составляющей необходимых компетенций специалиста по информационной безопасности. Таким образом, технология не приведет к исключению человека, но повлечет сокращение численности штата за счет повышения производительности труда.

Внедрение технологий искусственного интеллекта в защиту — логичная контрмера, принятая в ответ на попытки злоумышленников эксплуатировать новые технологии для атак. Сторона защиты должна выиграть эту гонку, чтобы заранее приготовится к расширению инструментария киберпреступников. Тем не менее нужно ответственно подходить к разработке и внедрению новых технологий, учитывать риски и угрозы, разумно оценивать новые возможности, использовать их сильные стороны в подходящих задачах и применять там, где это будет действительно эффективно. Рекомендуем не забывать придерживаться общих рекомендаций для обеспечения личной и корпоративной кибербезопасности: они сохраняют актуальность и важность даже во время стремительного развития новых технологий.

 

[ilovegrecha]

Основные функции ИИ в киберзащите​

ИИ-технологии позволяют решать множество задач на всех этапах подготовки к отражению атаки, а также во время обнаружения, реагирования и ликвидации последствий инцидента. Каждое применение можно отнести к одной из трех глобальных задач:

• Снижение нагрузки на специалистов по кибербезопасности
• Обнаружение аномалий в поведении пользователей, приложений и систем
• Расширенное обнаружение угроз
• Автоматизация систем защиты

Снижение нагрузки и помощь специалистам

С помощью ИИ-технологий в решениях для защиты можно автоматизировать рутинные процессы первичной обработки событий безопасности и другой информации, которую сейчас вынуждены анализировать специалисты. Кроме того, чат-боты на основе LLM могут оказывать оперативную поддержку специалистам в процессе принятия решений по противодействию киберугрозам.

Большие языковые модели (large language model, LLM) — это системы ИИ, способные обрабатывать и генерировать информацию на естественном языке с помощью искусственных нейронных сетей, предварительно обученных на больших объемах данных.

Обнаружение аномалий и расширенное обнаружение угроз

В информационной безопасности необходимо обрабатывать множество различных потоков и массивов данных, в которых решения с ИИ, хорошо справляющиеся с обработкой больших объемов информации, могут искать аномалии — признаки кибератаки. Такими аномалиями могут быть отклонения в поведении пользователя или системы, нетипичные явления в сетевом трафике и другие подозрительные события, которые могут свидетельствовать, например, об активности ранее неизвестного ВПО.

Автоматизация систем защиты

Решения на базе ИИ-технологий могут автоматизировать процессы не только обнаружения атак, но и принятия решения, реагирования и предотвращения инцидента. Степень автоматизации может различаться: от предложения специалисту по безопасности готового сценария реагирования на инцидент до роли полноценного автопилота.

 

[ilovegrecha]

ИИ можно решать точечные задачи в определении актуальных угроз, например определять трендовые уязвимости, наиболее опасные и активно эксплуатируемые киберпреступниками. Согласно нашим данным, в среднем с момента появления эксплойта до его активной эксплуатации проходит около 24 часов, поэтому важно как можно раньше определять актуальные уязвимости и начинать их закрывать. Анализируя активность обсуждения уязвимостей в открытых источниках, например в кибербез-сообществах в социальных сетях, можно выявить трендовые уязвимости — как новые, так и давно известные. По активности обсуждения можно заранее определить уязвимости, на которые киберпреступники нацелятся в ближайшее время. Такой подход применяется в MaxPatrol VM: каждый день модель вычисляет предсказания об эксплуатации уязвимостей на основе десятка параметров, а после анализа отправляет экспертам топ-20 самых опасных на основе своего прогноза.

В будущем технологии искусственного интеллекта позволят решать и более глобальные задачи, связанные со сбором информации и предиктивным определением угроз. Собирая данные из различных открытых источников, можно сформировать потенциальный профиль угроз компании, учитывающий ее инфраструктуру и поставщиков, актуальные мотивы и возможности киберпреступных группировок, потенциально нацеленных на организацию. Автоматизированный предиктивный анализ не просто быстрее ручного сбора и обработки информации — он может осуществляться в постоянном режиме, а значит оперативно предоставлять службе безопасности компании данные об актуальных киберугрозах для выстраивания эффективного плана, приоритезации действий и заблаговременной реализации шагов по обеспечению результативной кибербезопасности.

 

[ilovegrecha]

Проверка кода

ИИ-технологии позволяют ускорить проверку кода, поиск уязвимостей, обнаружение потенциально вредоносных фрагментов и генерацию проверочных тестов. Кроме того, ИИ может использоваться для реверс-инжиниринга кода, поиска скрытых вредоносных возможностей, например, в подключаемых к проекту репозиториях. ИИ может внедряться как в статический, так и в динамический методы анализа кода.

Статический анализ направлен на поиск потенциальных проблем в программном коде без его исполнения, в процессе разработки. С помощью статического анализа можно на раннем этапе выявить уязвимости и баги, а значит проще и дешевле исправлять их. Инструменты для статического анализа с ИИ-технологиями, например Snyk, обучаются на больших объемах программного кода и позволяют обнаруживать такие потенциальные проблемы, как возможность внедрения SQL-кода, XSS-уязвимости или забытые в коде ключи и пароли. Существенный плюс применения ИИ — модели не только обнаруживают уязвимости, но и сразу предлагают разработчику варианты решения проблемы, выступая в роли второго пилота.

Динамический анализ, в отличие от статического, проверяет код во время выполнения и применяется для обнаружения уязвимостей, которые можно выявить только после запуска программы. Наиболее яркий пример внедрения ИИ-технологий в динамический анализ — фаззинг-тестирование, при котором программе на вход подаются случайные или некорректные данные для проверки того, не нарушится ли работа приложения в таких условиях. С помощью ИИ-технологий можно не только генерировать входные данные, но и расширять покрытие кода тестами. Например, исследователи из Google сообщили, что встроенные в фаззинг LLM уже позволили им обнаружить новые уязвимости.

Потенциально ИИ-технологии позволят автоматизировать все больше процессов в тестировании кода, а значит быстрее находить и закрывать уязвимости еще до того, как ими успеют воспользоваться киберпреступники. При этом важно учитывать и возможные негативные последствия, если разработчики начнут полностью полагаться на ИИ-проверку кода. Постепенно квалификация специалистов в области безопасной разработки и проверки кода будет снижаться, что может привести к проблемам в будущем: например, пропуск уязвимости вторым пилотом приведет к выпуску уязвимого приложения. Для наибольшей эффективности необходим тандем из ИИ-помощника и специалиста, такая схема позволит совместить преимущества автоматизации проверки кода и экспертный анализ.