— Ирина, сильно ли изменился рынок ИБ и подходы компаний к обеспечению ИБ под влиянием ИИ за последние один-два года? В чём проявляются эти изменения?
— Рынок информационной безопасности за последние один-два года изменился существенно, и это произошло под влиянием двух встречных процессов. С одной стороны, искусственный интеллект стал массово доступен атакующим, с другой — сами защитники начали перестраивать инструменты и процессы под новую реальность. Важно сразу зафиксировать: ИИ не породил принципиально новых типов атак, но качественно изменил уже существующие, сняв ограничения, которые прежде сдерживали злоумышленников.
Прежде всего заметно снизился порог входа. Раньше серьёзная атака требовала глубокой технической подготовки, теперь же во многих случаях достаточно быть продвинутым пользователем большой языковой модели. Фишинг, который традиционно был либо массовым и примитивным, либо штучным и дорогим, стал одновременно персонализированным и массовым: каждый запрос в рамках одной кампании может быть уникальным по форме при неизменном целевом действии. Клонирование голоса и генерация видео подешевели настолько, что оказались доступны практически любому, а разведка по открытым источникам, на которую раньше уходили дни ручной работы, теперь выполняется автоматически за считанные минуты.
Ведущий инженер-аналитик лаборатории технологий искусственного интеллекта аналитического центра кибербезопасности компании «Газинформсервис» Ирина Меженева
Фото: «Газинформсервис»
Со стороны обороны ключевое изменение — это слом классического сигнатурного цикла. Сложилась парадоксальная ситуация, когда цикл обнаружения уже превышает время жизни самой атаки: пока аналитик разбирает инцидент и пишет новое правило, атака давно завершилась и перешла в новую форму. Модели машинного обучения в этом смысле гибче, поскольку оперируют паттернами в пространстве признаков, а не жёсткими индикаторами компрометации, но у этой гибкости есть оборотная сторона — модели менее надёжны из-за своей статистической природы. Поэтому рынок движется к гибридным архитектурам, где сигнатурные правила и обученные модели работают совместно и компенсируют ограничения друг друга.
Ещё один сдвиг, особенно проявившийся за последний год, касается самого характера внедрения ИИ. Компании всё чаще переходят от пилотных экспериментов и маркетинговых заявлений к встраиванию моделей в реальные процессы защиты, и это меняет требования к людям и процессам. В нашем Аналитическом центре уже внедрены элементы MLOps: мы отслеживаем дрейф данных, контролируем качество моделей и регулярно их дообучаем. Требования к квалификации ИБ-специалистов при этом растут, а фокус их работы смещается с разбора потока шума на сложные расследования, где человеческая экспертиза по-прежнему незаменима.
— Какие главные типы угроз со стороны ИИ можно выделить? Какие из них наиболее болезненны с точки зрения ущерба? Правда ли, что подавляющая доля кибератак сегодня происходит с помощью ботов?
— Если говорить о том, какие угрозы принёс с собой искусственный интеллект, то их можно разделить на три группы, хотя границы между ними условны. Первая и самая заметная — усиление традиционных атак, к которым относятся персонализированный и одновременно массовый фишинг, социальная инженерия с подделкой голоса и видео, автоматизированная разведка по открытым источникам, а также генерация и постоянная модификация вредоносного кода, позволяющая обходить сигнатурные средства. Вторая группа — атаки, направленные уже не на инфраструктуру жертвы, а на сами системы искусственного интеллекта: манипуляция запросами, отравление обучающих данных и утечки информации через модели, которые эксплуатируются как «чёрный ящик». Третья группа наименее очевидна, но не менее опасна: это неконтролируемое применение ИИ внутри самой организации, когда сотрудники без ведома службы безопасности передают конфиденциальные данные в публичные сервисы.
С точки зрения реального ущерба наиболее болезненными оказываются социотехнические атаки, нацеленные на деньги. В отрасли зафиксированы случаи, когда компания теряла $25 млн после дипфейк-видеозвонка, в котором были сгенерированы лица финансового директора и коллег, а фишинг с имитацией голоса сотрудника приводил к убыткам в $100 млн. Такие атаки бьют напрямую в финансовый контур, эксплуатируют доверие людей и почти не оставляют технических следов, которые можно было бы перехватить классическими средствами защиты.
Теперь о расхожем тезисе, будто подавляющая доля кибератак сегодня совершается ботами. Это упрощение, в котором есть рациональное зерно, но которое стоит уточнить. Ботнеты и автоматизированные инструменты существовали задолго до нынешнего бума нейросетей, поэтому сам по себе тезис об автоматизации не нов. Новое появилось в другом: искусственный интеллект сделал автоматизацию кастомизируемой. Поэтому корректнее говорить, что подавляющая доля атак сегодня автоматизирована, а ИИ снял то самое ограничение «массовое — значит примитивное», которое долгие годы помогало защитникам отделять рядовые атаки от целевых.
— Чем опасны публичные нейросети? Как бы вы сформировали памятку для безопасной работы с ними?
— Публичные нейросети опасны по двум причинам, и обе связаны с тем, что пользователь теряет контроль над своими данными и над достоверностью результата. Первая — это утечки. Всё, что отправляется во внешний сервис, фактически уходит за пределы контура организации, и это касается не только очевидно секретных документов, но и, казалось бы, безобидных запросов сотрудников, которые могут содержать фрагменты персональных данных, коммерческой тайны или исходного кода. ИБ-специалисты оценивают риск утечки конфиденциальных данных при использовании ИИ сотрудниками как высокий.
Вторая причина — галлюцинации и непроверяемые выводы. По оценкам, в 2024 году глобальные потери из-за галлюцинаций нейросетей составили $67,4 млрд, и это наглядный показатель того, насколько опасно полагаться на ответы модели в вопросах, от которых зависят решения и деньги. Проблема усугубляется тем, что галлюцинация выглядит так же уверенно, как корректный ответ, и неспециалист зачастую не в состоянии их различить. Отдельно стоит сказать о теневом использовании, которое часто упускают из виду: жёсткий запрет на внешние нейросети обычно не устраняет риск, а лишь переводит его в неконтролируемую зону, когда сотрудники начинают пользоваться публичными сервисами с личных устройств и служба безопасности теряет видимость. Поэтому правильная стратегия — не запрещать, а управляемо внедрять.
Памятку безопасной работы с публичными нейросетями я бы сформулировала вокруг одного сквозного принципа — минимального доверия и минимального раскрытия. На практике это означает, что в запрос не должна попадать конфиденциальная информация: персональные данные, коммерческую тайну, исходный код и учётные данные лучше либо не передавать вовсе, либо предварительно обезличивать. Работать стоит только через разрешённые сервисы и корпоративные инсталляции, а не через первый попавшийся публичный инструмент. Любой полученный результат следует воспринимать как черновик и сверять его с проверенными источниками, прежде чем использовать в работе. Контекст запроса полезно намеренно сужать, чтобы модель не получала лишних данных. И наконец, модели нельзя доверять решения, от которых зависят деньги или безопасность, — финальный выбор всегда за человеком, а обо всех сомнительных ситуациях правильнее сообщать в службу информационной безопасности, а не решать их в обход правил.
— Помогают ли регуляторные меры и суверенные модели кардинально снизить количество угроз? Какие ещё меры комплексной защиты можно рекомендовать заказчикам?
— Вопрос о том, способны ли регуляторные меры и суверенные модели кардинально снизить количество угроз, требует честного ответа: сами по себе — нет, но без них выстроить управляемую защиту невозможно. Регуляторика задаёт правила игры и распределяет ответственность, однако она не устраняет угрозы как таковые. Здесь уместна метафора, которую использует наш Аналитический центр: автомобиль безопасен не только потому, что хорошо сконструирован, — безопасность создаёт вся экосистема вокруг него, включая правила дорожного движения, подготовку водителя, дорожную инфраструктуру и органы контроля. В сфере искусственного интеллекта такая экосистема пока только формируется, и закон о поддержке развития технологий ИИ — один из первых её элементов. Ждать от него моментального снижения числа угроз было бы наивно, но он очерчивает контур, внутри которого риски становятся управляемыми.
Суверенные модели в этом смысле дают более ощутимый практический эффект. Они обучаются на локальных, релевантных данных и отражают реальные условия эксплуатации, а не абстрактный усреднённый интернет, что заметно повышает качество их работы в отечественных реалиях. Кроме того, они остаются внутри национального и корпоративного контура, и это снимает значительную часть риска утечки данных за рубеж — как раз того риска, который делает публичные зарубежные нейросети опасными для бизнеса. При этом не стоит обольщаться: суверенность не отменяет ни галлюцинаций, ни уязвимостей самой модели.
Что действительно нужно заказчику, чтобы защититься от злоумышленников, вооружённых искусственным интеллектом, это комплексный, многоуровневый подход, где ни одна мера не работает в одиночку. В основе всего лежит киберграмотность: сотрудники остаются главной мишенью социотехники, и их нужно учить распознавать современный фишинг и дипфейки, а не признаки вчерашних атак вроде опечаток. Поверх этого выстраиваются технические меры — многофакторная аутентификация и строгое управление доступом, которые сдерживают компрометацию учётных записей. Отдельное направление — проверка защищённости с учётом ИИ-сценариев, когда пентест и редтиминг направлены не только на инфраструктуру, но и на сами системы искусственного интеллекта. Полезно также оценивать зрелость защиты: наш центр разработал опросник для самообследования, который помогает специалисту понять границы своей ответственности и определить, чего не хватает для выстраивания надёжного контура вокруг ИИ-систем. Наконец, необходимо опираться на отраслевые стандарты безопасного внедрения ИИ, включая известные практики вроде OWASP Top 10 for LLM, и строить гибридную защиту, в которой сигнатурные правила и обученные модели дополняют друг друга и подкреплены контуром обратной связи, без которого любая модель за несколько месяцев деградирует до уровня устаревшей сигнатуры.
— Как ИИ помогает в работе ИБ-специалистам? Какие функции службы ИБ и SOC можно автоматизировать и какие правила контроля за действиями ИИ должны соблюдаться?
— Главная ценность искусственного интеллекта для специалистов по информационной безопасности сегодня — снятие рутины с аналитика, то есть массы однотипной работы. По разным оценкам, до 60-80 % алертов от SIEM-систем составляет шум, и это подтверждается нашими собственными наблюдениями. Автоматизация через SOAR и ML-модели уже сейчас позволяет обрабатывать до 25-30 % типовых инцидентов: аналитик не проводит расследование с нуля, а проверяет рекомендации модели, и время обработки рядовой карточки сокращается в разы.
Набор задач, которые разумно отдавать ИИ, уже вполне очерчен. Модель хорошо справляется с первичным триажем и приоритизацией алертов, обогащением их контекстом, дедупликацией событий, суммаризацией инцидентов и построением таймлайна. Ей по силам подготовка черновиков отчётов, сопоставление с матрицей MITRE ATT&CK, поиск похожих кейсов и подсказка следующего шага по плейбуку. Но границы здесь строгие и принципиальные: события высокой критичности автоматически не обрабатываются никогда, а автозакрытие допустимо лишь для низкоприоритетных событий в зоне высокой уверенности модели.
Правила контроля за действиями ИИ вытекают из понимания его статистической природы. Последнее слово всегда остаётся за человеком, и модель выступает ассистентом аналитика, а не его заменой. Решения модели должны быть интерпретируемыми — специалист вправе требовать объяснения, на основании каких данных сделан тот или иной вывод. Необходима постоянная валидация на реальных вердиктах, когда прогноз модели сопоставляется с итоговым решением аналитика, а модель дообучается на новых данных. Обязателен мониторинг дрейфа данных, позволяющий вовремя заметить, что модель устарела и её пора переобучать, а также оценка неуверенности модели для ситуаций, когда она сталкивается с паттерном, отсутствовавшим в обучающей выборке. Наконец, действует принцип нулевого доверия: все действия модели логируются с полным контекстом, а у системы есть возможность отката и своего рода аварийный рубильник. Помимо этого, классические компетенции в области ИБ никуда не уходят: без них специалист просто не сможет отличить корректную работу модели от уверенной галлюцинации.
— Как ИИ внедряется в отдельные ИБ-инструменты и какой эффект приносит?
— Искусственный интеллект сегодня проникает практически во все классы средств защиты информации, хотя процесс идёт неравномерно, но неуклонно. В SIEM-системах и платформах расширенной аналитики модели выявляют аномалии и сложные многошаговые атаки, в SOAR-решениях автоматизируют плейбуки реагирования, в EDR и NTA отвечают за поведенческий анализ конечных точек и сетевого трафика, а в системах класса UEBA отслеживают отклонения в поведении пользователей и сущностей. Отдельным направлением стала проверка кода, сгенерированного языковыми моделями, которая встраивается в процесс безопасной разработки.
Наш собственный опыт это подтверждает. Разработки на базе искусственного интеллекта для задач расширенной аналитики ведутся в «Газинформсервисе» с 2018 года: за это время созданы уникальные анализаторы для обнаружения аномалий и атак (сюда можно отнести например усиление SQL-Firewall'a в СУБД Jatoba компонентами с функциями ML/AI), накоплены большие объёмы собственных размеченных данных и выстроена собственная система MLSecOps. Параллельно развивается SafeERP, который проверяет безопасность кода, в том числе, разумеется, и написанного нейросетью, и встраивает эту проверку в конвейер безопасной разработки. В центре мониторинга GSOC модели помогают аналитикам быстрее выявлять и разбирать инциденты, а лаборатория исследований кибербезопасности развивает киберполигон и тестирует защищённость самих ИИ-систем.
Главный вопрос, который задаёт заказчик, — какой эффект это даёт на практике. Самая честная метрика — объём рутины, снятой с аналитика, при условии, что не выросли пропуски. В наших наблюдениях: модель помечает 75 % потока как ложные срабатывания, и аналитики подтверждают 82 % этих оценок. Для бизнеса это означает, что один аналитик с помощью модели обрабатывает объём работы, на который раньше требовалось четверо, а 50 % потока закрывается почти автоматически. При этом обязательно отслеживать и негативный результат. Даже 2 % пропусков в зоне высокой уверенности модели, формально сопоставимые с человеческой ошибкой, неприемлемы, когда речь идёт о критичных инцидентах. Именно поэтому модель остаётся только помощником и именно поэтому человеческая экспертиза — то, что невозможно заменить.
— Большое спасибо за беседу!
