ИИ и кибербезопасность

[DarthWader]

С чего все началось
Одна из первых задач, которую стали решать с помощью методов машинного обучения, — обнаружение спама за счет распознавания шаблонов. Применение искусственного интеллекта в кибербезопасности позволило обрабатывать огромные объемы данных на скоростях, недоступных даже опытным специалистам. И это определило дальнейшее развитие технологий искусственного интеллекта в сфере информационной безопасности.

Как работает искусственный интеллект в кибербезопасности
Напомним, что приведенная ниже инструкция на некоторых моделях смартфонов может не сработать. Прежде чем получить root-права на Андроид свежей версии, нужно немного подстраховаться. Может потребоваться восстановить данные из-за сбоя при Искусственный интеллект пока не может полностью взять на себя заботу о безопасности в сети. Но опосредованно помогает обезопасить данные, сохранить репутацию компаний, защитить детей в интернете и решить другие вопросы, связанные с обеспечение безопасности,

— за счет оптимизации процессов.

Позволяет избежать ошибок, связанных с человеческим фактором

В обеспечении информационной безопасности по-прежнему много процессов, которые контролируются человеком хотя бы на одном из этапов, и именно в этих точках обычно возникают уязвимости. Машинное обучение — это автоматизация максимально возможного количества процессов и устранение слабых мест.

Повышает эффективность работы системы

В то время, как эффективность ручного труда при воспроизведении повторяющихся действий постепенно снижается, искусственный интеллект способен выполнять в разы больше работы, не уставая и не теряя концентрацию.

Сокращает время реагирования на атаки

Злоумышленники постоянно сокращают время проведения атак — так, например, атаки с помощью шифровальщиков LockBit разворачиваются всего за полчаса, и можно просто не успеть принять меры. Системы защиты на основе ИИ позволяют обнаруживать атаки и принимать решения по их отражению быстрее.


Позволяет точнее прогнозировать и эффективнее выявлять новые угрозы

Хакеры постоянно придумывают новые виды атак — специалисты могут не сразу сориентироваться или вообще не обнаружить угрозу в такой ситуации. Искусственный интеллект помогает и здесь: программы на основе машинного обучения распознает атаку, выявив общие черты у новой угрозы и тех, что были обнаружены ранее.

Снижает градус гонки за специалистами

Экспертов по защите данных постоянно не хватает — как и в большинстве сфер, где применяется AI, специалисты не выпали из процесса, а лишь разделили обязанности с искусственным интеллектом. Однако с применением ИИ в кибербезопасности можно сократить штат специалистов без ущерба эффективности.

Прямо сейчас, отвечая на вопрос, что такое ИИ в кибербезопасности, можно сказать, что это — в первую очередь возможность усовершенствовать уже существующие инструменты обеспечения защиты информации. Искусственный интеллект позволяет принимать меры для предотвращения и отражения атак быстрее, повышая шансы в борьбе с киберпреступниками.

 

[ilovegrecha]

Пентесты и симуляция атак

Технологии ИИ уже сегодня применяются для автоматизации отдельных шагов в тестах на проникновение в первую очередь для поиска и эксплуатации уязвимостей. В исследовании про применение ИИ в кибератаках мы уже рассказывали, что ИИ способен оказывать существенную помощь пентестеру в поиске и эксплуатации уязвимостей. Этот тезис подтверждается как научными исследованиями различных университетов, так и результатами экспериментов, например специалисту Positive Technologies с помощью ChatGPT удалось обнаружить XXE-уязвимость в браузере, а Project Zero в ноябре 2024 года нашли уязвимость нулевого дня в SQLite, используя ИИ-решение.

Помимо исследований разрабатываются или уже находятся в открытом доступе инструменты с технологиями искусственного интеллекта для автоматизации пентестов. Среди них есть как расширения для популярного инструмента BurpSuit, так и отдельные программы, например в 2024 году появился стартап XBOW. Его разработчики уже сообщали о том, что результативность их инструмента для тестирования на проникновение сравнима со специалистом-пентестером, а на этапе тестирования XBOW успел обнаружить несколько критически опасных CVE-уязвимостей в реальных приложениях. В начале 2025 года появился разрабатываемый сотрудниками Positive Technologies инструмент для полностью автономного тестирования на проникновение — PentAGI. Постепенно таких решений будет становится все больше, что ускорит проведение пентестов, позволяя опытным специалистам автоматизировать рутинные действия и вручную заниматься более сложными задачами. Важно отметить, что инструменты автоматического тестирования будут не только помогать белым хакерам, но и могут позволить киберпреступникам ускорять проведение простых атак, про это мы писали в отчете об актуальных киберугрозах III квартала 2024 года. Необходимо уже сегодня, не дожидаясь развития инструментария злоумышленников, превентивно заниматься защитой от атак, которые могут быть автоматизированы в ближайшем будущем. Рекомендуем обратить особое внимание на процесс управления уязвимостями (vulnerability management), рассмотреть участие в программах багбаунти.

Другой вариант тестирования защищенности компаний — применение решений типа BAS (breach and attack simulation, симуляция взлома и атаки). Инструменты BAS и автопентесты имитируют атаки и могут потенциально применять технологии ИИ для множества различных подзадач. Например, в PT Dephaze генеративный ИИ может применяться для создания подборок наиболее вероятных паролей для конкретной цели, анализа текстовых файлов тестируемой системы, формирования понятного отчета по результатам симуляции атак.

 

[ilovegrecha]

OSINT актуальных киберугроз

ИИ в OSINT позволяет эффективно искать, собирать и анализировать данные для прогнозирования угроз. С помощью ИИ можно решать точечные задачи в определении актуальных угроз, например определять трендовые уязвимости, наиболее опасные и активно эксплуатируемые киберпреступниками. Согласно нашим данным, в среднем с момента появления эксплойта до его активной эксплуатации проходит около 24 часов, поэтому важно как можно раньше определять актуальные уязвимости и начинать их закрывать. Анализируя активность обсуждения уязвимостей в открытых источниках, например в кибербез-сообществах в социальных сетях, можно выявить трендовые уязвимости — как новые, так и давно известные. По активности обсуждения можно заранее определить уязвимости, на которые киберпреступники нацелятся в ближайшее время. Такой подход применяется в MaxPatrol VM: каждый день модель вычисляет предсказания об эксплуатации уязвимостей на основе десятка параметров, а после анализа отправляет экспертам топ-20 самых опасных на основе своего прогноза.

В будущем технологии искусственного интеллекта позволят решать и более глобальные задачи, связанные со сбором информации и предиктивным определением угроз. Собирая данные из различных открытых источников, можно сформировать потенциальный профиль угроз компании, учитывающий ее инфраструктуру и поставщиков, актуальные мотивы и возможности киберпреступных группировок, потенциально нацеленных на организацию. Автоматизированный предиктивный анализ не просто быстрее ручного сбора и обработки информации — он может осуществляться в постоянном режиме, а значит оперативно предоставлять службе безопасности компании данные об актуальных киберугрозах для выстраивания эффективного плана, приоритезации действий и заблаговременной реализации шагов по обеспечению результативной кибербезопасности.

 

[ilovegrecha]

Проверка кода

ИИ-технологии позволяют ускорить проверку кода, поиск уязвимостей, обнаружение потенциально вредоносных фрагментов и генерацию проверочных тестов. Кроме того, ИИ может использоваться для реверс-инжиниринга кода, поиска скрытых вредоносных возможностей, например, в подключаемых к проекту репозиториях. ИИ может внедряться как в статический, так и в динамический методы анализа кода.

Статический анализ направлен на поиск потенциальных проблем в программном коде без его исполнения, в процессе разработки. С помощью статического анализа можно на раннем этапе выявить уязвимости и баги, а значит проще и дешевле исправлять их. Инструменты для статического анализа с ИИ-технологиями, например Snyk, обучаются на больших объемах программного кода и позволяют обнаруживать такие потенциальные проблемы, как возможность внедрения SQL-кода, XSS-уязвимости или забытые в коде ключи и пароли. Существенный плюс применения ИИ — модели не только обнаруживают уязвимости, но и сразу предлагают разработчику варианты решения проблемы, выступая в роли второго пилота.

Динамический анализ, в отличие от статического, проверяет код во время выполнения и применяется для обнаружения уязвимостей, которые можно выявить только после запуска программы. Наиболее яркий пример внедрения ИИ-технологий в динамический анализ — фаззинг-тестирование, при котором программе на вход подаются случайные или некорректные данные для проверки того, не нарушится ли работа приложения в таких условиях. С помощью ИИ-технологий можно не только генерировать входные данные, но и расширять покрытие кода тестами. Например, исследователи из Google сообщили, что встроенные в фаззинг LLM уже позволили им обнаружить новые уязвимости.

Потенциально ИИ-технологии позволят автоматизировать все больше процессов в тестировании кода, а значит быстрее находить и закрывать уязвимости еще до того, как ими успеют воспользоваться киберпреступники. При этом важно учитывать и возможные негативные последствия, если разработчики начнут полностью полагаться на ИИ-проверку кода. Постепенно квалификация специалистов в области безопасной разработки и проверки кода будет снижаться, что может привести к проблемам в будущем: например, пропуск уязвимости вторым пилотом приведет к выпуску уязвимого приложения. Для наибольшей эффективности необходим тандем из ИИ-помощника и специалиста, такая схема позволит совместить преимущества автоматизации проверки кода и экспертный анализ.

 

[ilovegrecha]

Контроль конфиденциальных данных

Возможность искусственного интеллекта анализировать большие объемы данных помогает при обработке не только технической информации, но и документации компании. В документах могут содержаться различные типы конфиденциальных данных, в том числе распределенные по разным неструктурированным полям. Отслеживать такие вкрапления чувствительной информации обычными средствами без ИИ очень сложно и долго, особенно учитывая объемы документации. ИИ может эффективно решат эту проблему: распознавать конфиденциальные данные в документах независимо от их поля, а также гибко корректировать документ в зависимости от уровня допуска открывающего его сотрудника и задачи. Например, заретушировать часть персональных данных работника компании, когда документ открывает бухгалтер, или заменить на обезличенную информацию, сохраняющую все свойства оригинальной, если документ нужно обработать внешним сервисом или использовать для обучения другой модели. Фильтрация и модификация выдаваемой информации потенциально поможет защитить от утечки конфиденциальных данных, наиболее частого (54%) последствия кибератак на организации в 2024 году.

Важно учитывать, если документы единообразны, а конфиденциальные данные в них всегда содержатся в одном конкретном поле, искусственный интеллект только замедлит и усложнит процесс, который можно организовать намного проще. Но такая идеальная картина встречается далеко не всегда, поэтому наилучших результатов можно добиться лишь комбинируя классические подходы к обработке данных (для решения стандартных ситуаций) с ИИ-решением (для нешаблонных случаев)

 

[ilovegrecha]

выделять для специалиста действительно требующие внимания инциденты. Например, одна из функций ML-модуля BAD (behavioral anomaly detection) в MaxPatrol SIEM — проведение оценки риска каждого события безопасности по 100-балльной шкале и обогащение алертов дополнительным контекстом, который позволяет ускорить реагирование. Специалист может отсортировать алерты по убыванию оценки риска и сразу же заняться обработкой самых опасных событий, требующих скорейшего внимания. Применение технологий ИИ позволит значительно, по оценке IBM в два раза, ускорить сортировку и обработку событий безопасности, а значит повысить общую эффективность работы SOC. Мы подробно разобрали перспективы мониторинга ИБ и реагирования на инциденты в исследовании, посвященном автономным SOC.

 

[ilovegrecha]

поведенческие паттерны и сравнивая их с нормальными. При этом могут применятся различные подходы и модели. Например:

• Статистический подход для обнаружения подозрительной активности на узле. Если на рабочей станции всегда работал только один пользователь, а сейчас появился второй — это аномалия. А если к узлу с тысячами ежедневных связей обратилось на одного-двух пользователей больше, чем обычно, — это лишь незначительное отклонение, которое не является признаком инцидента безопасности.
• Рекомендательный подход для определения нетипичных процессов, запускаемых пользователем. Изначально рекомендательные системы создавались как класс алгоритмов машинного обучения, призванных рекомендовать пользователям товары или контент. Такие системы должны на основе предпочтений группы схожих клиентов рекомендовать товары или услуги, которые вероятно понравятся конкретному представителю группы. В модуле BAD подход удалось адаптировать под задачи информационной безопасности, на место клиентов встали пользователи, а на место товаров — процессы. Работающие на схожих должностях пользователи запускают примерно схожие процессы, поэтому, если один из программистов захочет установить новую IDE (integrated development environment, интегрированная среда разработки), которой раньше не пользовался, рекомендательная модель определит, что запуск процесса соответствует профилю пользователя, потому что другие программисты уже запускали такие редакторы кода, а значит аномалии нет. Совсем другая ситуация, если бухгалтер запустит на своем компьютере утилиты для разведки. Рекомендательная система определит, что этот процесс не соответствует пользовательскому профилю, а значит можно детектировать аномальное поведения.

 

[ilovegrecha]

шифрованные коммуникации вредоносного программного обеспечения с C&C-сервером. ВПО может шифровать свои сессии связи для сокрытия от средств защиты, схожим принципом могут пользоваться и некоторые легальные приложения для обхода блокировок, в том числе мессенджер Telegram. Научившись классифицировать сессии в трафике по косвенному признаку, например статистике длин TCP-пакетов в сессии, можно точно разделять трафик на зловредный и легитимный. Этот метод может быть особенно эффективным, поскольку злоумышленнику сложно поменять принципы и механизмы сокрытия ВПО. Следовательно, киберпреступнику придется потратить много времени и сил на изменение атакующего инструмента перед следующей попыткой взлома.

 

[DarthWader]

Где используется ИИ в информационной безопасности
Круг задач достаточно широк. Искусственный интеллект умеет:

анализировать поведение пользователей и систем,

управлять доступом и аутентификацией,

обнаруживать фишинг и спам в электронной почте,

защищать сетевые инфраструктуры с помощью интеллектуальных брандмауэров,

обеспечивать мониторинг сети для предотвращения угроз,

в автоматическом режиме реагировать на инциденты ситуации угрозы безопасности для минимизации ущерба,

обнаруживать и предотвращать утечки данных.

Если говорить о продвинутых генеративных моделях искусственного интеллекта, то им доступны более сложные задачи:

анализ уязвимости кода,

сбор контекста событий в сфере информационной безопасности,

выявление неявных связей — например, распознание фишинговых сообщений по тексту, написанному с помощью искусственного интеллекта.

Также набирают популярность AI-решения для блокировки ботов — они умеют распознавать вредоносные боты, которые злоумышленники создают для атак на веб-ресурсы, кражи конфиденциальных данных и проведения других мошеннических операций.
Так ли безопасна кибербезопасность на основе ИИ
Высокая точность, скорость, автоматизация — кибербезопасность для бизнеса действительно нуждается в AI-решениях. Но, разумеется, использование ИИ в кибербезопасности предполагает свои ограничения и сложности.

У инструментов на основе искусственного интеллекта сложные алгоритмы. Это затрудняет работу с ними, потому что даже опытные специалисты по безопасности не всегда могут их понять. А значит, нельзя гарантировать на 100% надежную защиту.

ИИ-инструментами можно манипулировать. Иногда киберпреступники специально передают системам на основе искусственного интеллекта неверные данные, чтобы вывести защиту из строя. И, конечно, они придумывают новые способы «взломать» ИИ-системы.

Искусственный интеллект может создавать проблемы с конфиденциалностью. Системы на базе AI потребляют колоссальные объемы данных; в определенный момент они могут затронуть данные, которые не должны были оказаться в системе.

Системы на базе ИИ могут срабатывать ложно. Иногда они ошибочно распознают законную деятельность как угрозу и вызывают сбои в работе сети.

ИИ-системы не на 100% эффективны без участия человека. Многие процессы в кибербезопасности действительно удается автоматизировать с помощью искусственного интеллекта. Но в изоляции от человека модели могут принимать неправильные решения, так как просто не могут учесть ряд особенностей.

Тем не менее, без помощи искусственного интеллекта противостоять угрозам становится сложнее. Ведь, как уже было сказано в начале статьи, злоумышленники и сами стали активными пользователями нейросетей

 

[ilovegrecha]

Обнаружение неизвестных угроз

Одно из главных преимуществ искусственного интеллекта в кибербезопасности — возможность обнаруживать ранее неизвестные угрозы. Так, модуль BAD в MaxPatrol SIEM может определять атаки, которые не покрыты имеющимися правилами корреляции. С помощью ИИ-технологий можно обнаруживать эксплуатацию уязвимостей нулевого дня и работу неизвестного ВПО, анализируя появление аномалий и потенциально опасных паттернов действий.

Например, поведенческий ML-модуль в PT Sandbox уже несколько раз демонстрировал способность обнаруживать неизвестные угрозы, в одной из кибербитв Standoff атакующие запустили вредонос, который перед началом своей активности создал цепочку подпроцессов в количестве 100 штук. ML-модель заметила эту аномалию, в то время как классической сигнатуры для ее обнаружения в продукте не было. Новые вредоносные программы, которые еще неизвестны системам безопасности, практически невозможно обнаружить статическими методами анализа, тем более киберпреступники все время изменяют и маскируют атаки с помощью, например, обфускации вредоносных файлов или отправки ВПО с взломанных доверенных адресов электронной почты. Решение с поведенческим анализом все равно распознает угрозу, несмотря на новизну или маскировку, и позволит обеспечить защиту компании.

 

[ilovegrecha]

остается текст, который пока не удается надежно маркировать, и это без учета потенциальной возможности киберпреступников самостоятельно создать нацеленные на мошенничество генеративные инструменты без каких-либо рамок и ограничений.

Другая потенциальная область применения ИИ в распознавании контента — обнаружение опасных сайтов. С помощью технологий ИИ можно оперативно анализировать содержимое страницы сайта в тот момент, когда пользователь решает ее посетить. При обнаружении нежелательного содержимого доступ к сайту блокируется еще до того, как пользователь оказывается на странице. На основе такой системы можно выстроить защиту от фишинговых, потенциально опасных или нежелательных для посещения с корпоративного устройства сайтов.

В любом случае необходимо оставаться бдительным и учиться распознавать приемы социальной инженерии без ИИ-помощников. Мы рекомендуем при получении любого сообщения, письма или звонка отвечать на несколько простых вопросов:

1. Сейчас неудобный момент? Я нахожусь в отпуске или на выходных, собираюсь заканчивать рабочий день?
2. Сообщение давит на меня срочностью, важностью, авторитетом требования? Сообщает что-то критически важное, пугающее, очень интересное или выгодное лично для меня?
3. В сообщении есть орфографические ошибки, проблемы с пунктуацией? Неправильно указаны должности, название компании?
4. Сообщение обезличено, нет обращения по имени и отчеству?
5. Сообщение представляет собой топорный текст с повторами?
6. В сообщении есть вложения, ссылки, QR-коды?

 

[ilovegrecha]

Что делать:

1. Взять паузу на пять минут и спокойно посмотреть на ситуацию.
2. Проверить информацию по другим каналам: связаться с отправителем по телефону или по почте, поискать в интернете сайт или акцию приславшей письмо организации.
3. Если письмо кажется подозрительным, сообщите о нем отделу безопасности. Специалисты проинструктируют вас, что делать дальше.

Рекомендуем отделам безопасности проводить внутри организации обучения по распознаванию фишинга и киберучения. Всем сотрудникам нужно сообщить, что в любой момент им без предупреждения может быть отправлено фишинговое письмо. Задача сотрудников — не нажимать на ссылки в этих письмах и отправлять их отделу безопасности. Периодическая отправка таких писем подготовит сотрудников к потенциально возможной реальной атаке, а их реакция будет наглядно демонстрировать готовность организации к защите от фишинговой атаки. Мы рекомендуем варьировать темы фишинговых сообщений, ссылаться в них на глобальные события, на локальные мероприятия компании или использовать универсальные темы. Зная о таких киберучениях, сотрудники будут внимательнее относиться к каждому письму, а любое подозрительное отправлять отделу безопасности, что поможет отлавливать действительно вредоносные письма.

Фишинг не ограничивается письмами, мессенджерами и сайтами, мошенники уже расширили свой арсенал дипфейками, а значит нужно научиться распознавать их тоже. К базовым вопросам и рекомендациям уже сегодня необходимо добавить следующие признаки дипфейка:

1. Смена манеры и звучания речи (особенно на стыках фраз) и нетипичный для человека набор слов могут выдать искусственно сгенерированную аудиодорожку.
2. В видео подделка может быть заметна по неправильному движению тела и частей лица, например рта (зачастую дипфейки плохо справляются с отображением зубов) или глаз (неестественные движение зрачков и моргание).
3. Косвенным признаком дипфейка может быть плохое качество записи или звонка. Киберпреступники маскируют огрехи сгенерированного голоса и видео якобы плохим качеством связи.

Полученную информацию в любом случае лучше проверить по другому каналу, но мошенника можно отловить и еще раньше, задав проверочный вопрос, на который ответ может знать только реальный собеседник. Вопрос может быть абсолютно любым: что мы ели вчера на обед, какой сериал мы обсуждали на той неделе. Киберпреступник не будет знать ответ и выдаст себя.

 

[DarthWader]

Решения в сфере кибербезопасности на основе ИИ, которые уже существуют
Даже системы, аналогичные ChatGPT, могут быть полезны для защиты данных и бизнеса от кибератак. Так, GigaChat Сбера, встроенный по API, может создавать чат-боты для обнаружения фишинговых атак, распознавать подозрительные ссылки и создавать инструменты анализа данных для выявления аномалий в поведении пользователей.

Существует уже несколько сервисов, которые обнаруживают аномалии еще до начала атаки. Так работает Ankey ASAP — платформа, которая обеспечивает безопасное управление правами пользователей, и ее аналоги — Okta, Azure Active Directory, JumpCloud, OneLogin.

Активно развиваются технологии обнаружения дипфейков — как аудио, так и видео. Часть решений работают за счет анализа частоты электрической сети (ENF), встроенной в аудио- и видеозаписи: если запись содержит частоты, не соответствующие реальному источнику, можно заподозрить подделку. Resemble AI способен анализировать голосовые параметры по 265 признакам и точно определять, кому принадлежит голос. Искусственный интеллект можно интегрировать в корпоративные мессенджеры для расшифровки голосовых вызовов — например, в виде сервиса InfoWatch.

В Австралии специалисты по кибербезопасности создали чат-бот Apate на основе искусственного интеллекта, который умеет имитировать человеческий голос и способен вести диалог с мошенником до 40 минут. Решение «Аура» от VS Robotics позволяет пойти дальше и во время реального диалога с мошенником анализировать реплики и сопоставлять их с пороговым значением «ключевых» слов, а затем отправлять голосовое уведомление о том, что звонок является мошенническим.

Microsoft Security Copilot ежедневно помогает бизнесу защищать своих пользователей, активы и репутацию: в частности, компании QNET удалось повысить эффективность реагирования на угрозы на 60% после внедрения инструмента.
Есть ли будущее у ИИ в кибербезопасности
По данным исследования НИУ ВШЭ среди российских компаний, использующих решения на базе ИИ, каждая вторая планирует расширить уровень их применения и примерно каждая шестая намерена шире использовать системы кибербезопасности.

Однако интеграция любых подобных решений в ИТ-инфраструктуру происходит с задержкой — на сегодняшний день у использования ИИ в кибербезопасности есть несколько серьезных ограничений.

Во-первых, машинное обучение в кибербезопасности требует данных, однако их использование может не соответствовать законам о конфиденциальности. Решением могут стать системы, которые будут блокировать доступ к исходным данным после обучения, однако разработка таких инструментов требует глубокого изучения, так как может привести к искажению логики программ.

Во-вторых, в отрасли не хватает экспертов по кибербезопасности, специализирующихся именно на инструментах на базе ИИ, которые умеют внедрять и настраивать их. При этом до автономных защитников конфиденциальности на базе искусственного интеллекта пока далеко — моделям машинного обучения нужны люди.

 

[Merfi]

Кибербезопасность и искусственный интеллект​

В этой статье мы расскажем о том, как связаны кибербезопасность и искусственный интеллект, какие опасности представляют ИИ-технологии для организаций и что нужно учитывать, внедряя ИИ-инструменты в системы защиты данных.

Определения и понятия, которые мы разберем в этой статье.

Кибербезопасность — это состояние информационной системы, при котором обеспечены целостность, конфиденциальность и доступность ее цифровых информационных активов: документов, файлов, систем и сервисов, персональных данных партнеров, сотрудников и клиентов, интернет-ресурсов и проч.
Искусственный интеллект (далее — ИИ) — совокупность технологических решений, позволяющих машинам выполнять задачи, для которых обычно требуется человеческий интеллект. В частности, обучение, рассуждение и поиск оптимального решения проблем.

Нейронные сети — математическая модель, воплощенная программно или технически. Воспроизводит принцип работы нейронных связей человека. Понятие не тождественно искусственному интеллекту и является его составляющей частью. Возможность обучаться — важнейшее преимущество нейросетей.
Беспрецедентно быстрое развитие технологий ИИ существенно изменило многие стороны жизни современного человека, привнеся в нее удобство и открыв практически безграничные возможности для работы, обучения и творчества.

Однако, по мере того как технологии ИИ усложнялись и при этом становились доступнее для широких масс, усложнялся и ландшафт киберугроз, как для каждого пользователя в отдельности, так и для целых организаций. Далее мы рассмотрим наиболее распространенные киберугрозы для организаций, связанные с искусственным интеллектом.

Вредоносное программное обеспечение на базе ИИ​

Сегодня технологии искусственного интеллекта используются для разработки сложных вредоносных программ, которые в свою очередь могут изучать особенности работы информационной системы организации и ловко обходить традиционные меры безопасности. Также киберпреступники могут использовать ИИ для автоматизации процессов поиска и выявления ИБ-уязвимостей и целевых атак.

Тревожная тенденция заключается в возможности ИИ генерировать огромное количество вариантов вредоносного ПО и перегружать системы безопасности — и ИБ-специалистов в частности. При этом, искусственный интеллект как инструмент не требует глубоких знаний в области информационных технологий, что значительно снижает порог входа для киберпреступников — и это тоже будет способствовать увеличению числа угроз.

Вредоносное ПО, созданное с помощью искусственного интеллекта, обладает рядом особенностей.

1. Способность имитировать известные семейства вредоносных программ — и с очень высокой точностью. Подражание может ввести в заблуждение службы безопасности, затрудняя выявление угрозы.
2. Полиморфизм. Вредоносное ПО на основе ИИ может автоматически изменять свой код при каждой репликации или заражении. Непрерывные «мутации» затрудняют распознавание и блокировку вредоносного ПО традиционными методами обнаружения на основе сигнатур.
3. Адаптация в реальном времени. Вредоносное ПО на основе ИИ способно в реальном времени адаптировать свое поведение под условия среды.

Еще одно важное обстоятельство, которое стоит учитывать при организации системы информационной безопасности, это относительная новизна атак с использованием ИИ. Согласно последним опросам, у большинства организаций все еще не разработаны планы реагирования на инциденты, связанные с кибербезопасностью и затрагивающие системы ИИ.

Дипфейки​

Как показывает практика, даже самая устойчивая и надежная система информационной безопасности будет неэффективной, если сотрудники организации не осведомлены о правилах безопасного поведения в сети.

С развитием технологий искусственного интеллекта широкое распространение получили дипфейки — и их количество ежедневно растет.

Используя эту ИИ-технологию, киберпреступники могут создавать убедительные видео, изображения или записи голоса ключевых лиц.

Угроза стала настолько очевидной, что в сентябре 2024 года в Госдуму РФ внесли законопроект об уголовной ответственности до шести лет лишения свободы за совершение преступлений с использованием дипфейков.

Согласно данным Human Constanta, в период с 2019 по 2023 год число зафиксированных дипфейковых видео увеличилось на 550%. При этом важно понимать: масштабы атак с использованием дипфейков могут быть значительно шире указанной цифры, ведь далеко не каждый факт атаки реально зафиксировать.

Что важно знать? Технология дипфейков может представлять угрозу для отдельных пользователей, для организаций и даже для национальной безопасности целых государств — особенно в условиях текущей геополитической ситуации.

Цели атак с использованием дипфейков могут быть разными: распространение дезинформации, шантаж, разжигание межнациональной розни, нагнетание паники среди общественных масс, создание компрометирующих изображений и видео, хищение конфиденциальных данных, выдача себя за высокопоставленное лицо с целью получения финансовой выгоды и проч.

Обнаружение дипфейков сегодня — сложная задача. Алгоритмы ИИ постоянно улучшают способность генерировать высокореалистичный контент, что подчеркивает необходимость обучения сотрудников организаций способам распознавания подделок, а также внедрения программных средств для борьбы с поддельным контентом.

Социальная инженерия​

Методы социальной инженерии уже давно используются преступниками, а с широким распространением ИИ-технологий кибермошенничество вышло на новый, беспрецедентно высокий уровень.

Алгоритмы ИИ могут собирать и обрабатывать огромные объемы данных пользователей из социальных сетей, новостных ресурсов, персональных веб-сайтов и использовать полученную информацию для создания целевых фишинговых атак, то есть направленных на конкретного человека.

Процент успешности атак может быть очень высоким, поскольку ИИ может автоматизировать процесс создания убедительных сообщений, подкрепленных личной информацией о пользователях. При этом, чат-боты или голосовые помощники на базе ИИ могут выдавать себя за доверенных лиц или организации, что затрудняет жертвам выявление мошеннических действий.

Следует учитывать и текущую ситуацию в России и в мире, связанную с утечками высокочувствительных персональных данных. Так, по оценкам «Сбера», в открытый доступ попали персональные данные 90% взрослых россиян.

Важно! Новые технологии опережают законодательство. Многих понятий, о которых мы говорили выше, нормативно еще не существует, поэтому наложение ответственности за правонарушения с их использованием может быть проблематично.

Учитывая обстоятельства, сегодня значительно проще и финансово выгоднее развернуть устойчивую и надежную систему информационной безопасности, чем столкнуться с нарушением, найти виновного, в судебном порядке доказать вину и взыскать компенсацию.
Искусственный интеллект и нейросети в частности могут как представлять угрозу для информационной безопасности, так и быть эффективным инструментом защиты.

В вопросах обеспечения кибербезопасности искусственный интеллект имеет ключевое преимущество над ИБ-специалистом — способность быстро обрабатывать огромные массивы данных, выявлять нарушения политик безопасности и устанавливать сложные закономерности, которые могут указывать на возможный инцидент, и мгновенно реагировать. Скорость реагирования на ИБ-инциденты имеет решающее значение.

Важно понимать: сегодня ИИ не может полноценно заменить специалиста по обеспечению информационной безопасности. При этом применение технологий искусственного интеллекта и машинного обучения позволяет ИБ-специалисту действовать превентивно, устранять угрозы безопасности до момента их реализации.

Области применения ИИ для обеспечения кибербезопасности​

Сегодня искусственный интеллект используют для решения следующего круга задач:

• анализа поведения пользователей, выявления подозрительной активности;
• обнаружения вредоносной активности и различных аномалий в работе информационной системы;
• управления доступом и аутентификацией пользователей;
• автоматического реагирования на ИБ-инциденты;
• выявления и предотвращения угроз информационной безопасности;
• выявления и предотвращения утечек конфиденциальных данных;
• мониторинга информационной системы на предмет ИБ-угроз.

Продвинутые генеративные модели искусственного интеллекта могут решать более сложные задачи:

• анализ кода на уязвимости;
• сбор и анализ данных об актуальных угрозах в сфере информационной безопасности;
• блокировка ботов, созданных для атак на веб-ресурсы и приложения, хищения чувствительной информации и проч.;
• поиск и выявление взаимосвязей, например, распознавание фишинговых сообщений, сгенерированных с помощью ИИ.

Список процессов, которые можно автоматизировать с помощью ИИ, достаточно широк. При этом, внедряя ИИ-инструменты в систему информационной безопасности, чрезвычайно важно учитывать их уязвимости и потенциальные ограничения.

​

 

[Merfi]

Кибербезопасность и искусственный интеллект​

ИИ-инструменты могут содержать собственные уязвимости​

Как правило, жизненный цикл инструментов ИИ состоит из 4 этапов: проектирование, разработка, развертывание, обслуживание. На каждом из этих этапов в них могут проникнуть критические уязвимости, которые впоследствии могут быть использованы киберкриминальным группами для обхода механизмов защиты и внедрения вредоносного ПО в информационную систему организации.

Так, например, слабые или неправильно реализованные механизмы аутентификации и авторизации уже на этапах проектирования и разработки могут привести к утечкам информации и несанкционированным изменениям внутри системы.

На этапе разработки злоумышленники могут использовать ошибки кодирования для выполнения произвольного кода, манипулирования моделями ИИ или получения несанкционированного доступа к системным ресурсам.

Также поведение модели ИИ может быть преднамеренно или случайно изменено, что приведет к выполнению несанкционированных задач или генерированию неверных ответов. Потенциальные последствия многообразны: несанкционированный доступ, утечки информации, подрыв выходных данных.

Немаловажно учитывать и вероятность небезопасной цепочки поставок. Это значит, что компоненты, приобретенные у внешних поставщиков для разработки ИИ-инструмента, также могут содержать уязвимости. Злоумышленники могут использовать их для внедрения в систему бэкдоров, вредоносного ПО или другого вредоносного кода.

При внедрении ИИ-инструментов в систему обеспечения кибербезопасности важно учитывать, что список потенциальных уязвимостей обширен, что подтверждается количеством выявленных инцидентов.

Так, например, в январе 2025 года стало известно, что разработчики китайского чат-бота с искусственным интеллектом DeepSeek оставили без защиты одну из своих критически важных баз данных. Это привело к утечке более миллиона записей. В открытый доступ попали история переписок пользователей с нейросетью, секретные ключи и части API, данные бэкенда и другие конфиденциальные сведения.

Месяцем ранее эксперты обнаружили уязвимость в ChatGPT — поисковый инструмент от компании OpenAI можно обмануть, также он может генерировать вредоносный код, если найдет соответствующую инструкцию на веб-сайте.

В июне 2024 года, как утверждает журнал «Информационная безопасность», исследователи выявили серьезную уязвимость в открытой платформе ИИ Ollama. Уязвимость с идентификатором CVE-2024-37032, известная как Probllama, представляет угрозу — она может быть использована для удаленного выполнения кода.

Проблемы безопасности конфиденциальности данных​

Исходя из информации, изложенной выше, атаки злоумышленников могут быть направлены не только на информационную систему, но и на сами ИИ-инструменты. При этом процесс обучения ИИ-моделей подразумевает сбор, хранение и обработку больших объемов данных разной степени чувствительности, в том числе информацию об ИТ-активах, бизнес-процессах, архитектуре информационной системы, данные для авторизации пользователей и проч.

Все это увеличивает риски утечек, утраты конфиденциальности и злоупотребления данными.

ИИ-инструменты сложно внедрять и настраивать​

Внедрение и настройка системы защиты данных с использованием технологий ИИ требует редких навыков на стыке кибербезопасности и программирования. Помимо этого, применении ИИ-моделей подразумевает длительный процесс обучения с учетом необходимости подстройки под бизнес-процессы, уникальные для каждой сферы деятельности.
В качестве примера трудностей, с которыми можно столкнуться при внедрении ИИ-инструментов, можно привести настройку правил безопасности для программных комплексов, разработанных для автоматического мониторинга событий безопасности и анализа на предмет нарушений и подозрительной активности. Большое количество выявленных инцидентов указывает, что антивирусные политики настроены недостаточно хорошо. А большое количество ложных сработок говорит о том, что некорректно работают правила, определяющие подозрительную активность. И то, и другое — плохо.

На рынке труда наблюдается критическая нехватка высококвалифицированных ИБ-специалистов​

Сегодня мы можем наблюдать значительное увеличение разрыва между количеством открытых вакансий по профилю кибербезопасность и реальным числом квалифицированных специалистов. Так, по данным explodingtopics.com, 57% компаний испытывают нехватку навыков в области кибербезопасности. Только в США нехватка специалистов по профилю составляет 377 000 человек.

Разрыв возник по многим причинам, например, из-за беспрецедентно быстрого развития технологий, стремительной цифровизации экономики и производств, массового перехода специалистов на удаленный формат работы. Всего за несколько лет предприятия оборудовали рабочие места персонала ноутбуками, планшетами, смартфонами; были подключены облачные приложения и многое другое — все это может стать точкой входа в информационную систему организации и поэтому нуждается в защите

Стремительный прогресс наблюдается и в сфере киберкриминала. Кибератаки усложнились, их число и интенсивность выросли, также значительно увеличился ландшафт угроз информационной безопасности. Как уже говорилось выше, атаки на информационные системы производятся с использованием технологий искусственного интеллекта — и меры безопасности, принятые во многих компаниях, пока недостаточно устойчивы, чтобы противостоять деятельности киберкриминальных группировок.

Нехватка высококвалифицированных специалистов в области кибербезопасности, а особенно в таком узком профиле, как внедрение ИИ-технологий и противодействие им, имеет далеко идущие последствия.

 

[Merfi]

Наш мир меняется и новые технологии приносят с собой не только новые возможности, но и новые опасности. Материал посвящен нейросетям. Но не тем вещам, на которые способны сами нейросети, — про это и так все пишут, — а тому, какой потенциальный вред могут принести нейросети в руках хакеров.

Образ хакера в современных медиа — это образ мага, чудотворца, у которого роль заклятий играют скрипты, вирусы и многое другое. Хакеры в одиночку, практически с телефона, способны взломать самую совершенную систему безопасности, пробиться через любой файерволл. Хакеры-преступники в этом контексте представляются злыми волшебниками, использующими современные инструменты во зло. Один из таких инструментов — это, разумеется, искусственный интеллект.

Что такое ИИ?
Искусственный интеллект — это зонтичный термин, включающий в себя довольно много разных инструментов, связанных с нейросетями, большими данными и машинным обучением. Чаще всего он используется для обозначения нейросети, натренированной на решение какой-либо, чаще всего интерпретационной, задачи: распознавание речи, изображений, перевод текстов с контекстом с языка на язык и так далее.

Обычная нейросеть — это в первом приближении сложно устроенная математическая функция f(x, a), которая зависит от набора аргументов x и некоторого набора параметров a. Она получает на вход данные определенного формата и выдает результат.

Создание самой простой нейросети выглядит так. Сначала определяется задача, потом выбирается тип нейросети. Дальше находится массив размеченных данных. На этих данных нейросеть обучается, то есть в автоматическом режиме подбираются такие значения параметров a, чтобы на размеченной выборке функция принимала нужные значения.

Наконец, сеть тестируется, и после этого, в принципе, она готова к работе — если на всех предыдущих этапах ничего не сломалось, если выборка была хорошей, если удалось угадать правильную архитектуру сети и так далее.

Важный нюанс: нейросети представляют собой узкоспециальный инструмент, заточенный под решение конкретной задачи. Попытки переучить нейросеть или расширить сферу ее применения приводят к тому, что она не только не обучается новому, но и «теряет» навык решения предыдущей задачи.

Судя по всему, узкая специализация — это математическое свойство, не зависящее от физической реализации этого инструмента. Это означает, что если вам требуется решить задачу, пусть и близкую, но отличную от той, которую решает имеющаяся нейросеть, то вам придется заново разрабатывать новую.

Наконец, нейросеть не программируется в привычном понимании этого слова. Это означает, что проверка теоретической корректности полученного результата (как проверка алгоритма в программе) требует создания новых методов, инструментов. Иными словами, вопрос безопасности работы — а под безопасностью мы понимаем отсутствие сбоев — это нерешенная задача, для которой еще предстоит создать подходящие инструменты.

Чем занимаются современные хакеры?
Современные хакеры имеют мало общего с тем образом профессионалов-одиночек, который представлен в телевизионных сериалах. Хакеры, занимающиеся противоправными действиями, в массе своей входят в организованные преступные группировки, зачастую объединяющие большое число программистов сравнительно невысокого уровня.

Их основная цель, как и любой ОПГ, — извлечение прибыли с минимальными расходами и рисками. Этим определяются основные направления работы киберпреступников: львиная доля совершаемых ими преступлений завязана на воровстве личных данных пользователей, мошенничестве и вымогательстве.

Соответственно, можно выделить пять основных типов киберугроз.

Больше половины всех киберугроз — это заражение компьютеров вредоносным программным обеспечением. Помимо привычных всем вирусов на сайтах, хакеры давно используют более любопытные технологии — например, встраивают вредоносный код в open-source проекты или заражают серверы для автоматического обновления ПО.

В последнем случае через такую систему были заражены десятки (а возможно, и сотни) тысяч компьютеров по всему миру.

Еще один тип — индивидуальные мошеннические атаки. Они подразумевают прямой контакт с пользователем с целью убедить человека отдать данные или добровольно установить то или иное приложение, содержащее вредоносный код. В подобных атаках часто участвуют живые люди, которые могут притворяться службой поддержки, сотрудниками банка и так далее.

Такие атаки подразумевают чаще всего прямое воровство денег. Иногда следствием атаки становится заражение вирусом, который кодирует данные и требует перевода денег для разблокировки (это виртуальная форма вымогательства).

Классический взлом систем с использованием программ, скриптов и так далее. На этот вид преступлений приходится чуть меньше 17 процентов от всех киберугроз.

Часто это часть глобальной схемы — например, заражение серверов вредоносными программами. Одна из основных целей хакерских атак (помимо традиционных государственных институтов) — криптобиржи и прочие площадки, связанные с криптовалютой.

По-прежнему пользуются популярностью атаки на сайты. В основном речь идет про онлайн-магазины и прочие площадки, аккумулирующие личную информацию своих пользователей. Эти данные либо просто похищаются, либо используется схема с вымогательством.

Наконец, последний тип — это не устаревающие DDos-атаки. В июле 2019 года им исполнилось ровно 20 лет. Основная идея здесь состоит в создании сети ботов — компьютеров, готовых по команде посылать запросы на заданный сервер, перегружая его.

 

[Merfi]

Нужны ли хакерам нейросети?
В СМИ довольно часто встречаются истории, указывающие на потенциальную опасность нейросетей в руках хакеров.

Считается, что нейросети сделают уже существующие угрозы более опасными:

1) Создание нейросетей, способных имитировать общение с человеком, например по электронной почте. Подразумевается, что нейросети надо продержаться достаточное время, чтобы получатель поверил, что с ним общается кто-то, кому он доверяет. При этом пользователь должен перевести «собеседнику» деньги или раскрыть частные данные.

2) HDDos или «человеческая» версия DDos-атаки. Сейчас многие системы умеют распознавать DDos-атаки и довольно эффективно с ними борются. Подразумевается, что использование не просто бот-нета для генерации запросов, а нейросетевых ботов поможет создать иллюзию, что сайт подвергся наплыву живых пользователей.

3) Преодоление систем антивирусной защиты. Считается, что нейросети помогут в заражении компьютеров вредоносными программами.

Все три сценария крайне маловероятны и откровенно фантастичны. Например, если нейросети первого типа будут созданы, то они в первую очередь пригодятся для автоматических систем маркетинга, то есть появятся в руках маркетологов. Далее, нейросети, имитирующие поведение живых пользователей, выгоднее использовать для имитации большого трафика на сайтах, чем для их обрушения. Наконец, нейросети, которые что-то там обходят — это совсем отдаленное, и не факт что реализуемое, будущее.

Есть, впрочем, и более экзотические сценарии.

В 2018 году больницы и клиники несколько раз становились целью хакерских атак. В одном случае менеджменту больницы пришлось заплатить хакерам выкуп в биткоинах, чтобы те вернули доступ к данным пациентов.

Дело в том, что в плане IT (в том числе и в плане безопасности) медицинские учреждения сильно отстают от других учреждений, имеющих дело с персональными данными. Зачастую в медицинских учреждениях используются программные продукты, которые, по мнению экспертов, уязвимы для разного рода хакерских атак.

Фантазии и реальность
Несколько израильских исследователей решили выяснить, какой максимальный урон медицинскому учреждению могли бы принести хакеры, вооруженные нейросетью. Для этого они придумали такой сценарий: через уязвимые программные продукты хакеры получают доступ к персональным данным пациентов, в частности к рентгеновским снимкам.

Предположим, хакеры используют нейросеть, натренированную на очень специальную задачу: «убирать» с рентгеновских снимков раковые опухоли. Подобное вмешательство в персональные данные, говорят исследователи, может иметь летальные последствия для пациентов.

Подобных статей появляется довольно много, но, как и в этой конкретной статье, в них не учитывается множество факторов.

Во-первых, нейросеть, упоминаемая в этом исследовании, может быть создана лишь при участии большого числа специалистов, причем ее необходимо тренировать на данных, полученных для специфических медицинских исследований. Не приходится ожидать, что у среднестатистической хакерской группировки окажется доступ к подобной обучающей выборке.

Во-вторых, описанный сценарий подразумевает очень дорогую и очень специальную атаку на данные. Любопытно, что в статье говорится об изменении снимков, но не других записей, например анализов пациентов. Это означает, что сами авторы работы потенциально очень сильно упрощают сложность придуманной ими атаки, нацеленной на вмешательство в медицинские данные с целью повлиять на постановку диагноза.

Неудивительно, таким образом, что большинство экспертов сходится во мнении: для текущих хакерских задач существующие нейросети не подходят из-за высокой сложности и стоимости обучения. Если новые угрозы, связанные с нейросетями, и возникнут, то исключительно вместе с новыми путями их применения.

Значит, нейросети хакерам не нужны?

Вредоносное программное обеспечение способно наносить ощутимый урон производствам. Так, WannaCry — вирус, изначально не предназначавшийся для атак на заводские системы, — привел к остановке производства на нескольких заводах Renault, а также попал в системы производства компании Nissan.

Иными словами, правильный ответ состоит из двух частей.

Во-первых, нейросети не нужны обычным хакерам, однако в промышленном шпионаже и атаках на государственном уровне они могут найти свое применение или даже уже нашли.

Во-вторых, прогресс не стоит на месте. Если сейчас работа с нейросетями — это долго и дорого, то это не значит, что так будет всегда. Появление стандартизированных библиотек, размеченных дата-сетов в открытом доступе может кардинально изменить ситуацию. И тогда преступления с использованием нейросетей могут войти в жизнь обычного пользователя. А, значит, думать об этих угрозах надо уже сейчас.

 

[Merfi]

Подделка приложений искусственного интеллекта

Поддельные программы размещались в магазинах мобильных приложений, а некоторые даже содержали угрозу для похищения учетных данных для входа, персональной или финансовой информации.

Рис. 1. Поддельная вебпрограмма ChatGPT, отправляющая ключи OpenAI API на собственный сервер.
Другой преступной схемой мошенников есть предложение расширенных возможностей искусственного интеллекта за определенную плату. После загрузки приложения могут показывать пользователю большое количество рекламы, требовать покупки в приложении или подписки на услуги, которых нет или которые доступны в очень низком качестве.

Вредоносная реклама

Киберпреступники используют популярность инструментов искусственного интеллекта, чтобы обманом заставить пользователей нажать на вредоносную рекламу, особенно распространенную в Facebook. В прошлом году компания Meta предупредила, что многие из этих кампаний направлены на компрометацию рекламных аккаунтов компаний в Интернете.
Рис.2. Экран-заставка, который показывает установщик Vidar infostealer и имитирует Midjourney.
Злоумышленники получают контроль над легитимным аккаунтом или страницей, изменяют информацию профиля, чтобы она выглядела как настоящая страница ChatGPT, а затем используют аккаунты для показа поддельной рекламы. Киберпреступники предлагают ссылку на последнюю версию инструментов искусственного интеллекта, но на самом деле разворачивают угрозу для кражи информации.

Изящные приманки

Также злоумышленники умело манипулируют эмоциями пользователей, включая страх, доверчивость и любознательность, чтобы заставить перейти по опасным ссылкам или загрузить вредоносные программы. Таким образом, киберпреступники убеждают нажать на непристойные факты о знаменитостях или шокирующие новости на тему определенных событий, например, вымышленные истории о поддельных вакцинах против COVID-19. Иногда это предложение определенных товаров или услуг бесплатно, с невероятной скидкой или исключительно ранним доступом.

В случае с темой искусственного интеллекта злоумышленники маскируют вредоносное программное обеспечение под разные приложения – от ChatGPT и модели для создания видео Sora AI до генератора изображений Midjourney, DALL-E и фоторедактора Evoto. Многие версии, которые они рекламируют, недоступны, что еще больше привлекает жертву, например, «ChatGPT 5» или «DALL-E 3».

Что может оказаться под опасностью?

Во многих случаях целью киберпреступников является кража информации. Такие вредоносные программы предназначены для сбора конфиденциальной информации, в частности данных для входа в корпоративные учетные записи или сохраненной информации о банковских картах, файлов cookie (для обхода многофакторной аутентификации), данных из мессенджеров и многое другое.

Однако киберпреступники не ограничиваются только кражей данных. Злоумышленники также могут скрыть любой тип вредоносного программного обеспечения в приложениях и ссылках, включая программы-вымогатели и трояны для удаленного доступа (RAT). Это может привести к полному удаленному контролю над устройством и сохраненными на нем данными. Кроме того, они могут использовать ваше устройство для атак на других пользователей.

Также киберпреступники могут использовать финансовые и идентификационные данные, чтобы получить новые банковские карты на ваше имя или украсть криптоактивы, получить доступ и продать банковскую информацию. Кроме этого, они могут даже использовать корпоративные учетные данные для атаки на вашего работодателя, организацию-партнера или компанию-поставщика. Недавно злоумышленники использовали угрозу для кражи информации с целью получения доступа к аккаунтам Snowflake, что привело к компрометации десятков миллионов данных клиентов.

Как избежать опасностей, связанных с искусственным интеллектом?

1. Устанавливайте программы только из официальных магазинов

Google Play и Apple App Store имеют строгие процессы проверки и регулярный мониторинг, чтобы выявить вредоносные программы. Избегайте загрузки приложений со сторонних веб-сайтов или неофициальных источников, поскольку они с большей вероятностью содержат угрозы.

2. Проверяйте разработчиков и их программы

Прежде чем загружать приложение, проверьте данные разработчика и найдите другие приложения, которые он разработал, а также прочтите отзывы пользователей. Подозрительные программы часто имеют плохо написанные описания, ограниченную историю разработчиков и негативные отзывы, описывающие проблемы.

3. Будьте осторожны, нажимая на объявления в Интернете

Онлайн-реклама, особенно на платформах социальных сетей, таких как Facebook, может распространять вредоносные программы. Вместо того чтобы нажать на объявление, найдите приложение или инструмент непосредственно в официальном магазине, чтобы убедиться, что вы загружаете официальную версию.

4. Перед установкой проверьте расширение веб-браузера.

Расширения веб-браузера могут улучшить работу в Интернете, но также могут представлять угрозу безопасности. Проверьте разработчика и прочтите отзывы перед установкой любых расширений. Используйте расширение известных разработчиков с высокими оценками и отличными отзывами пользователей.

6. Остерегайтесь фишинга

Фишинг остается распространённой угрозой. Поэтому будьте осторожны с нежелательными сообщениями, которые предлагают перейти по ссылке или открыть вложения. Проверьте личность отправителя, прежде чем взаимодействовать с любым подозрительным электронным письмом, текстовым сообщением или сообщениями в социальных сетях.

7. Всегда оставайтесь внимательными

Если вы видите предложение загрузить новую версию инструмента искусственного интеллекта, проверьте его доступность через официальные каналы, прежде чем продолжить. Проверьте официальный веб-сайт или надежные новостные источники, чтобы подтвердить выход новой версии.

8. Включите многофакторную аутентификацию для всех онлайн-аккаунтов

Многофакторная проверка подлинности обеспечивает дополнительный уровень безопасности для учетных записей в Интернете. Поэтому включите ее, где это возможно, чтобы защитить свои учетные записи, даже в случае взлома пароля.

 

[Merfi]

[td]

[td]

Искусственный интеллект. Не так давно он находился в одном ряду со звездолетами, внеземными цивилизациями и прочими образами будущего, рожденных воображением писателей-фантастов.
Сегодня фраза "искусственный интеллект" уже почти перестала носить научно-фантастический характер. Все чаще это словосочетание появляется в описании новых компьютерных программ и сложных технических устройств. Все чаще можно слышать утверждение, что при современных темпах роста производительности компьютеров и совершенствования программного обеспечения, создание искусственного интеллекта - лишь дело времени. Но так ли это на самом деле? Не является ли широко распространенное мнение об искусственном интеллекте как о новой разновидности программ всего лишь удобным способом рекламы новых технологий, не имеющим к настоящему искусственному интеллекту никакого отношения? Да, компьютеры и связанное с ним программное обеспечение всего за несколько десятилетий совершили колоссальный шаг вперед. Но стали ли мы от этого ближе к созданию искусственного интеллекта, или хотя бы пониманию принципов его работы? И возможно ли вообще создать нечто, превосходящее человека и его мозг? А если и можно, то нужно ли?
Эта работа посвящена поиску ответов на множество подобных непростых вопросов, возникающих на пути к искусственному интеллекту. В отличие от подавляющего большинства теорий, создаваемых по принципу "разгадывания" устройства искусственного интеллекта путем изучения работы мозга, методология данного труда несколько иная. При изучении сверхсложных систем, к числу которых без сомнения относится и мозг, нельзя рассчитывать на корректность выводов, следующих в основном из одних только наблюдений. Поскольку в условиях высокой сложности, пересекающейся порой с принципиально новыми явлениями, уже просто невозможно понять что является причиной, а что - следствием. Невозможно создать теорию работы такой системы, опираясь на классические представления. Именно поэтому в данной работе основное внимание уделяется фундаментальным теоретическим построениям, не связанных изначально с какими бы то ни было конкретными примерами, и созданными на основании элементарных аксиом. Затем уже результат теории согласуется с опытными фактами, полученными к примеру из тех же работ изучающих устройство мозга. Наличие предметно-независимого теоретического фундамента дало ошеломляющие результаты. Удалось получить исчерпывающие ответы на множество неразрешимых до этого вопросов и значительно продвинуться в понимании протекания многих процессов, сам факт существования которых сегодня подвергается сомнению.
Нетрадиционный взгляд на проблему показал полную непригодность классического (алгоритмического) подхода создания искусственного интеллекта. Создана новая - интегральная - теория устройства объектов класса "искусственный интеллект". Из нее следует что искусственный интеллект не только реален, но и степень его совершенства практически ничем не ограничена. Поэтому его возможности могут многократно превосходить возможности человека. При помощи искусственного интеллекта можно решить все глобальные проблемы человечества на Земле и открыть дорогу к звездам, превратив нашу цивилизацию в космическую.
Указывается также ряд выводов, позволяющих пролить свет на многие тайны устройства человеческого организма. Это дает ключ к решению проблем лечения неизлечимых сегодня болезней, получения неограниченной молодости и в конечном итоге к преобразованию тела человека в более совершенную форму. В заключении рассмотрены многие вопросы философского и даже научно-фантастического характера, выходящие за рамки собственно проблемы ИИ, но имеющие к ней самое непосредственное отношение.​

[/td]

[/td]

 

[Merfi]

​

2. Критические оценки существующих представлений. Идея интегрального подхода​

​

В этой части будут рассмотрены положения интегральной теории, основанные на строгих доказательствах. Следует отметить что данный материал концептуально достаточно сложен и требует для своего понимания внимательного прочтения. В завершении имеется пункт "Резюме", содержащий все основные идеи в сжатом виде.
* * *
Итак, существующие представления об искусственном интеллекте (далее - ИИ). Как это ни странно, но несмотря на многочисленность своих приверженцев и обилия всяческих ресурсов (литературы, форумов, Web-сайтов, конференций и т.д.) до сих пор нет четкого обоснованного ответа на простейший изначальный вопрос: "что такое интеллект?". Существует только интуитивное представление о нем как об аналоге человеческого мозга. Поэтому многие разработчики компьютерных программ и сложных технических устройств широко пользуются этой ситуаций, говоря что их разработка обладает ИИ. В связи с этим возникло множество "прикладных" теорий ИИ, рассматривающих ИИ в основном как одну из многочисленных ветвей информатики. Соответственно и рассказ об ИИ в этих работах представляет собой обзор различных специфических алгоритмов. В чем отличие этих теорий от классической теории алгоритма и методов вычислительной математики и на каких основаниях их называют теориями ИИ, остается загадкой.

Помимо этого есть работы научно-популярного (больше популярного) характера. Но там взгляд на ИИ основан не на строгой стройной теории, а на интуитивных соображениях. А этого, конечно, мало для создания ИИ.
Поскольку теория алгоритма и вычислительная математика - вещи достаточно серьезные, то постепенно первая ветвь взглядов на ИИ становилась преобладающей. Настолько преобладающей, что сегодня в глазах большинства ИИ оказался прочно связан с областью экспертных программ, нейронных сетей, генетических алгоритмов.... всего и не перечислишь. Однако существует одно общее свойство, объединяющее их. Алгоритм. В основе всех их лежит алгоритм - набор инструкций, заложенный в программу ее создателем. Посмотрим насколько реально отвечает алгоритм требованиям к ИИ, даже в его интуитивном понимании.
Для этого осветим ряд вопросов:​

1. Зачем вообще нужны альтернативные подходы создания ИИ.
   В любой области естествознания альтернативные подходы к решению той или иной проблемы появляются тогда, когда становиться ясно что традиционные пути не могут ее решить. Факты, доказывающие это предположение, делятся на практические и теоретические. В случае с ИИ можно указать следующие замечания существующим путям его создания.
   1.1 Практические факты.
   Прежде чем перейти к их рассмотрению необходимо выяснить что в итоге мы хотим получить. Что должно представлять из себя это нечто, под названием "искусственный интеллект". Когда только все это начинало создаваться, ИИ виделся своим создателям ни много ни мало, а как искусственный разум, во всем превосходящий разум человека. Немногие, правда, говорили об этом вслух - слишком уж грандиозной была затея. Но конечная цель была именно такой. Так было в начале. Из этого представления об ИИ мы и будем исходить. Разумеется оно далеко не строгое, но чтобы провести критические оценки идей и решений в области ИИ, наработанных на сегодня, этого вполне хватит. Итак, что реально работающего мы имеем теперь? Конечно же это экспертные системы - компьютерные программы, заменяющие человека (вернее заранее известный, хотя и довольно сложный, алгоритм его работы по решению однообразной задачи) в некоторой отдельно взятой узкой области. Большего на сегодняшний день пока нет. Сравнивая теперь то что хотели и что имеем, приходим к однозначному практическому выводу - ИИ не создан. Да простят создатели экспертных систем, но пока мозг человека намного превосходит все их творения. И даже более того - за полувековую историю создания ИИ дело так и не сдвинулось с мертвой точки. Идеи, лежащие в основе всех экспертных систем, были придуманы еще в середине прошлого века. И если они действительно верны, то почему от них пока нет практической отдачи (увеличение быстродействия и объема обрабатываемой информации не в счет - оно достигается за счет улучшения аппаратуры)?
   Всем известно как далеко вперед шагнуло в последнее время программирование. Средства Интернета, обилие ресурсоемких графических операционных систем и приложений, анимационные компьютерные фильмы и игры, графика которых малоотличима от кино, виртуальная реальность - вот лишь небольшой перечень атрибутов информационной революции. То, что вчера было доступно только узкому кругу профессионалов, сегодня можно увидеть где угодно - начиная с рабочих мест сотрудников офиса и заканчивая домашними компьютерами. Даже беглого взгляда достаточно чтобы понять насколько несоизмерим уровень сегодняшнего программного обеспечения и того, что было всего каких-нибудь 10-20 лет назад, не говоря уже про более ранние времена. Создается стойкое впечатление что принцип работы ИИ не имеет к программированию никакого отношения (да и как тут иметь - ведь результат работы любой программы предопределен заранее, в то время как от ИИ требуется самостоятельно находить изначально неизвестное решение). А иначе как объяснить тот колоссальный отрыв в развитии ИИ и обыкновенных программ? Ту пропасть, которая день ото дня становиться все шире и шире. Не слишком ли сильно затянулся переход количества в качество?
   Что принципиально нового дали для конечного пользователя современные программы ИИ по сравнению с программами типа ЭЛИЗА (не учитывая, конечно, рост объема данных и скорости их переработки, полученных за счет улучшения аппаратных средств и алгоритмов работы с базами данных, не имеющих с ИИ ничего общего)? Ничего. Так же как и 50 лет назад мы не видим думающих машин способных успешно работать в автономном режиме в реальном (а не виртуальном) мире - основного что должен был дать ИИ. Все средства ИИ, что мы имеем сейчас, фактически представляют из себя СУБД, работающие с сетевой моделью базы данных и имеющие возможность обработки нечетких данных заданного типа. Все это, конечно же, совершенно не то что хотелось бы иметь. В чем же причина такого застойного состояния ИИ на фоне общего подъема уровня технических средств во второй половине 20-го века? Очевидно что возможны лишь две причины: либо прогресс в области разработки ИИ идет очень медленно, либо он не идет вовсе. Первое маловероятно, так как полвека (а серьезно заниматься проблемой ИИ начали сразу после 2-й мировой) срок немалый даже для решения сложных задач. За это время можно хотя бы если не решить задачу, то уж во всяком случае наметить возможные пути ее решения и получить по ним конкретные обнадеживающие результаты. Наиболее яркие "ровесники" ИИ - управляемый термоядерный синтез и полеты в космос уже дали кое-какие плоды. В УТС хоть и со скрипом, но все же был получен положительный энергетический эффект. К дальним планетам Солнечной системы и звездам мы еще не полетели, но уже есть пилотируемые орбитальные корабли и полет на Луну, автоматические межпланетные зонды. То есть прогресс идет, хотя и страшно медленно. С ИИ так не получилось: нет не только готового результата, даже возможных путей решения как не было, так и нет (все найденные к настоящему времени "пути" фактически сводятся к требованию увеличить мощность аппаратной части в несколько раз, давая при этом какие-то проценты выигрыша в производительности, т.е. все они являются экстенсивными). Есть лишь неуклонный рост болтовни, выдающей желаемое за действительное. Значит, приходится признать что прогресс ИИ не просто близок к нулю, а равен ему.​

 

[Merfi]

1.2 Теоретические факты.

Если бы основы на которых в настоящее время пытаются построить ИИ и вправду содержали зерно истины, то его бы уже "нащупали", т.к. работы ведутся достаточно интенсивно. Значит ошибочны именно изначальные предположения. "Вот те раз!" - скажут создатели экспертных систем. Ведь на этих основах простроены все современные и причем исправно работающие компьютерные программы. Совершенно верно. Но они - не ИИ. Вот несколько теоретических фактов, показывающих неприменимость классического подхода.

1.2.1 Для любого механизма можно построить программный эмулятор. А любая программа представляется в виде алгоритма. Таким образом все сказанное ниже можно распространить на алгоритм в любой его форме - аппаратной или программной.
При переходе механизм->эмулятор особое внимание следует обратить на то, что в эмуляторе отражаются только те свойства механизма, что намеренно создавались его конструкторами. Например эмулятор микропроцессора отражает его способность обрабатывать данные, но никак не химический состав, механические особенности (твердость, масса, пространственная конфигурация) и т.д.. Поскольку все без исключения свойства реального материального объекта учесть невозможно (хотя бы уже из-за ограничений, накладываемых квантовой механикой) и учитывая что абсолютно все технические устройства появляются сперва как математическая модель в голове своего создателя, то с точки зрения алгоритма работы устройства переход механизм->эмулятор справедлив. Истинное поведение механизма, формируемого всеми его свойствами, при этом может отличаться от поведения его математической модели (что и учитывается в интегральной теории). Однако в классических представлениях об ИИ как об некой программе в любом случае рассматривается именно математическая модель объекта - алгоритм работы его эмулятора. Поэтому ограничения, присущие алгоритму, полностью сохраняют свою силу при анализе классических методик создания ИИ.

Посмотрев определение алгоритма (например в энциклопедическом словаре по математике), видим что он состоит из 7-ми частей:

• множество исходных данных
• множество результатов
• множество промежуточных результатов
• правило начала
• правило переработки
• правило окончания
• правило извлечения результата

Пока все множества и правила конечны все работает прекрасно. Но рассмотрим предельный случай - когда мощности указанных множеств (т.е. число их элементов) бесконечны. Что тогда мы будем иметь? Теоретически вроде бы ничего существенного не происходит - скажем правило переработки типа y=x+1 будет выполняться одинаково, в не зависимости от того бесконечно количество чисел x или нет. Но вот на практике все далеко не так гладко. Алгоритм должен кто-то выполнять. Обычно этим занимается компьютер - конечная система. В результате чего возникает ограничение на x и y. Очевидно что все эти соображения легко переносятся с простых формул на более сложные правила начала, переработки и окончания. Так что никакой бесконечностью на практике и не пахнет. Для обычных программ этого и не нужно - число комбинаций состояний памяти современного компьютера настолько велико, что с легкостью позволяет решать любые задачи такого типа. Но с ИИ такой номер уже не проходит - изначально нацеленный на объятие всего внешнего мира (поскольку от него требуется умение решать произвольную задачу), который как известно бесконечен, он требует предоставления ему бесконечных ресурсов. И как бы ни было велико число возможных состояний компьютера - по сравнению с бесконечностью оно ничто. Таким образом ИИ просто не может быть универсальной программой - не хватит ни материальных, ни временнЫх ресурсов для создания компьютера способного такую программу переработать (да и создать саму программу - тоже).

1.2.2 Второе принципиальное ограничение, не позволяющее создать ИИ на классических основах - ограничение множества исходных данных и результатов по типу элементов. Простейший пример - программа предназначенная для обработки целых чисел. Ни под каким соусом ее невозможно "заставить" обрабатывать данные другого типа - комплексного, символьного и т.д.. Подобная жесткость входа и выхода программы не дает возможности сделать ее восприимчивой к типам данных, не предусмотренными ее создателями. Но можно ли предусмотреть абсолютно все?!

1.2.3 Особенно туманным является вопрос об изменении одной программы другой программой или даже генерации одной программы другой. Никто до сих пор еще не решил этой задачи. Вопреки воле своих создателей сделанный по такому принципу "ИИ" не генерировал никаких новых алгоритмов и, конечно, не мог решить задачу, если решение не было известно его создателям. Смотрел на программу как на набор данных и только. То есть был подобен обыкновенному "неинтеллектуальному" компилятору. Попытки заставить его хоть что-то создавать успехом не увенчались. А какой же это интеллект, если он не может генерировать своих алгоритмов, подобно человеку? Любая программа - это воплощение определенного круга идей ее создателя. Естественно что она просто не в состоянии оперировать тем, что выходит за их рамки. И это третий непреодолимый барьер на пути к звезде ИИ.