Shadow AI: риски теневых ИИ-инструментов

Начинается это буднично. Маркетолог торопится с брифом и вставляет в публичный чат-бот выгрузку контактов клиентов. Разработчик застревает на ошибке и отправляет фрагмент закрытого кода в онлайн-отладчик с ИИ. Финансовый аналитик загружает таблицу с прогнозом выручки в сервис суммаризации, чтобы успеть к совету директоров.

Так выглядит Shadow AI — применение генеративных моделей и ИИ-сервисов без ведома, согласования и контроля со стороны ИТ и службы безопасности. Выигрыш в производительности здесь настоящий, и именно поэтому запреты не работают. Но и цена утечки настоящая: она приходит позже и оплачивается не тем отделом, который её создал.

Масштаб проблемы

Отраслевые опросы дают устойчивую картину: больше трёх четвертей офисных сотрудников применяют ИИ в ежедневной работе, а формальная политика есть меньше чем у половины организаций. Разрыв между использованием и управлением растёт быстрее, чем служба безопасности успевает реагировать.

Следствие — слепое пятно. Списки клиентов, финансовые модели, исходный код, материалы по сделкам, юридические заключения уходят на инфраструктуру третьих сторон. Что происходит с ними дальше, зависит от условий конкретного сервиса: часть данных хранится, часть используется для дообучения, часть невозможно удалить по запросу.

Чем это отличается от теневого ИТ

Теневое ИТ — явление знакомое: личный файлообменник, неутверждённый таск-трекер, заметка в облаке. Риск понятен: данные лежат не там, где положено, и доступ к ним не учтён.

С ИИ появляется новый слой: данные не просто хранятся, они участвуют в обработке и могут попасть в обучающую выборку. Показательный случай — Samsung в 2023 году: инженеры вставили закрытый код в публичный чат-бот, чтобы проверить ошибки. Компания запретила сервис внутри и начала строить собственный контур; перестройка «после» обошлась дороже, чем управление «до».

Ключевая мысль: запрос на удаление работает для хранилища, но не для модели. Если фрагмент попал в обучение, отозвать его технически нельзя.

Четыре канала утечки

Исходный код и архитектура. Фрагменты сервисов, схемы баз данных и внутренние соглашения об именовании сами по себе раскрывают устройство продукта и облегчают атаку.
Персональные данные клиентов. Контакты, история покупок, поведенческие признаки — всё, что сотрудник загружает для анализа сегментов, выходит за пределы соглашений об обработке.
Финансовая отчётность и прогнозы. Модели ценообразования и планы по выручке относятся к сведениям, которые влияют на стоимость компании.
Юридические материалы. Подготовка позиции по спору в публичном сервисе может лишить документ защиты профессиональной тайны.

Комплаенс: где начинается нарушение

Пользовательские условия массовых ИИ-сервисов обычно не дают тех гарантий, которые требуют регулируемые отрасли. Отсюда типовые нарушения:

GDPR. Передача персональных данных граждан ЕС в сервис без соглашения об обработке и без оценки трансграничной передачи — нарушение с оборотными штрафами до 4% годового оборота.
HIPAA. Загрузка сведений о пациенте в инструмент без соглашения с бизнес-ассоциированным партнёром квалифицируется как инцидент, подлежащий уведомлению.
CCPA и CPRA. Данные потребителей, отправленные в сторонний сервис, создают обязанности раскрытия и удаления по запросу.

Это не серая зона: разницу между мозговым штурмом и обработкой персональных данных определяет содержимое запроса, а не намерение сотрудника.

Галлюцинации и ответственность за решения

Модель уверенно выдаёт правдоподобный текст независимо от фактической точности. Когда результат принимают без проверки, последствия предсказуемы:

сгенерированный код с уязвимостями уходит в продуктивную среду;
в договоре появляются несуществующие нормы и судебные решения;
в презентацию для совета директоров попадают выдуманные цифры;
в медицинских материалах оказываются неверные дозировки.

Ответственность за решение остаётся на организации, а не на сервисе, какими бы ни были его условия использования.

Провал в подотчётности

Если инструмент повлиял на отказ по кредиту или отсев кандидата, а служба безопасности о нём не знала, аудиторский след неполон и объяснить логику решения нечем. Там, где действует право на объяснение автоматизированного решения, это резко увеличивает регуляторную экспозицию.

Отравление модели и цепочка поставок

Отдельный сценарий — компании, поставившие генерацию кода на поток. Модель с открытой площадки без внятного происхождения может быть дообучена так, чтобы подсказывать небезопасные библиотеки или вставлять тонкие дефекты в шаблоны. Такой код проверяют как код внешнего подрядчика: ревью, статический анализ, тесты. Полезно сверять такие фрагменты с известными тактиками атакующих.

Управление вместо запрета: шесть шагов

Полный запрет не работает: сотрудники найдут обход на личном устройстве, а вы потеряете видимость. Работает связка «управление плюс обеспечение».

Увидеть, что уже используется

Начните с инвентаризации: CASB или межсетевой экран показывают обращения к известным ИИ-сервисам, средства управления устройствами — расширения, журналы DNS и прокси — домены вне белых списков. Анонимный опрос добавляет локальные модели и мобильные приложения.

Классифицировать данные

Публичные — маркетинговые тексты и открытая документация: допустимы любые инструменты.
Внутренние — описания процессов, несенситивная аналитика: только корпоративные лицензии с договором.
Конфиденциальные — данные клиентов, финансы, договоры: приватный или собственный контур.
Ограниченные — исходный код, сделки, юридическая тайна: только по письменному согласованию.

Классификация избавляет от необходимости решать в моменте, к какой категории относится документ.

Написать политику допустимого использования

Политика на одну-две страницы отвечает на три вопроса: что разрешено, что запрещено и что будет при нарушении. Сорокастраничный регламент не прочтут.

Дать легальную альтернативу

Причина теневого использования — скорость, значит, одобренный инструмент не должен быть медленнее. Корпоративные тарифы дают договор об обработке и исключают обучение на ваших данных; для чувствительных задач подходят приватные развёртывания в вашем облачном тенанте.

Мониторинг и разбор инцидентов

Правила CASB и средства предотвращения утечек должны срабатывать в реальном времени, а не в квартальном отчёте. Раз в квартал пересматривайте список сервисов и заранее опишите порядок действий при утечке.

Обучение, которое меняет поведение

Слайды про бдительность не работают. Работают конкретные примеры и обезличивание: уберите имена, даты и номера счетов, оставив структуру данных. И культура сообщения: сотрудник, рассказавший об ошибке, полезнее того, кто промолчал.

Что даёт NIST AI RMF

Внешний ориентир вместо конструкции с нуля — добровольная методология NIST AI Risk Management Framework 2023 года. Она раскладывает работу на четыре функции: управление, описание контекста, измерение риска и обработка риска.

Итог

Shadow AI — не злой умысел, а признак того, что сотрудники работают быстрее, чем успевает управление. Задача службы безопасности — не блокировать ИИ, а построить ограждения, внутри которых им можно пользоваться. Компании, которые успеют до инцидента, получат производительность без утечек и защитимую позицию. Если нужна помощь с политикой ИИ, свяжитесь с командой.

Частые вопросы

Чем Shadow AI отличается от теневого ИТ? Теневое ИТ — любая технология без согласования. Здесь дополнительный риск создаёт обработка данных: сведения могут попасть в обучающую выборку, и удалить их оттуда нельзя.

Нарушает ли сотрудник GDPR, используя чат-бот? Зависит от данных. Для черновика письма проблемы нет. Для обработки персональных данных граждан ЕС без соглашения об обработке — да, это нарушение.

Как обнаружить использование ИИ и не следить за людьми? Смотрите на сетевой уровень: обращения к доменам известных сервисов, а не на содержимое экранов. Такое наблюдение фиксируется в политике мониторинга.

Можно ли просто запретить ИИ? Можно, но сотрудники перейдут на личные устройства и мобильный интернет. Запрет имеет смысл только для узкой категории данных.

Нужен ли отдельный инструмент для контроля? На старте достаточно журналов прокси, инвентаризации расширений и отчётов CASB. Отдельная платформа нужна, когда сервисов десятки.

Shadow AI: теневые ИИ-инструменты и риски для бизнеса