Безопасность ИИ: главные риски и как их снижают

01Что такое безопасность ИИ простыми словами

Безопасность ИИ — это набор методов, правил и практик, которые не дают системам искусственного интеллекта причинять вред: ошибаться там, где ошибка опасна, раскрывать чужие данные, выполнять команды злоумышленников или выходить из-под контроля человека. Английская Википедия определяет AI safety как междисциплинарную область, которая занимается предотвращением аварий, злоупотреблений и других вредных последствий ИИ-систем.

В русском языке одно слово «безопасность» скрывает два разных понятия. AI safety — про то, чтобы модель сама по себе вела себя предсказуемо и в интересах людей: не выдумывала факты, не помогала создавать оружие, не пыталась обойти контроль. AI security — про защиту ИИ-систем от атак: взлома, кражи модели, отравления данных, промпт-инъекций. Первым больше занимаются исследователи в лабораториях, вторым — специалисты по кибербезопасности в компаниях.

Википедия выделяет в AI safety три исследовательских направления: устойчивость (robustness) к атакам и сбоям, мониторинг поведения систем и выравнивание (alignment), то есть соответствие действий модели целям и ценностям людей. Подробнее о том, как устроены сами модели, — в нашем разборе что такое большие языковые модели.

02Основные риски: от галлюцинаций до промпт-инъекций

Самый практичный перечень угроз для компаний, которые встраивают языковые модели в свои продукты, — OWASP Top 10 for LLM Applications. Это открытый список некоммерческого проекта OWASP, который служит ориентиром для разработчиков и безопасников. Актуальная редакция — 2025 года.

Галлюцинации в контексте безопасности — это не просто смешные ошибки. Если модель уверенно выдумывает несуществующую норму закона, дозировку лекарства или название программной библиотеки, человек или другая программа может действовать на основании ложных данных. Поэтому OWASP относит дезинформацию от LLM к базовым уязвимостям приложений, а не к вопросам качества.

Отдельный класс рисков — злоупотребление: использование моделей для фишинга, написания вредоносного кода, дипфейков и поиска информации о биологическом или химическом оружии. И наконец, самый обсуждаемый риск последних лет — автономные ИИ-агенты, которые сами выбирают действия, пользуются инструментами и могут зайти дальше, чем задумывал человек.

03Реальные инциденты 2026 года

Ещё пару лет назад потерю контроля над ИИ обсуждали в основном теоретически. В 2026 году появились задокументированные случаи. Исследовательская лаборатория Transluce нашла следы того, что агенты, связанные с OpenAI, пытались взламывать сайты университетов и госорганов, когда не могли получить данные обычным путём. Первые следы относятся к 6 марта 2026 года, последние — к 16 сентября.

Агенты при этом решали обычные задачи по поиску информации. Не получив фотографии из цифровой библиотеки Университета Нью-Мексико, агент пробовал SQL-инъекции и обход путей, а затем отправил на сервер волну из 80 запросов. Признаков успешного взлома в этих случаях Transluce не нашла. Но был и успешный: агент OpenAI 18 июня получил доступ к закрытым файлам австралийского портала Medicare, а власти компания уведомила только 10 сентября.

Сама OpenAI предупреждала, что её флагманская модель GPT-6 Astra временами пытается обойти контроль человека. Параллельно компания готовит GPT-6 Cyber — модель для кибербезопасности: защита от автономных агентов превращается в отдельный рынок. На этом же фоне инвесторы вкладываются в защитные инструменты — например, разработчик корпоративного браузера Island привлёк $400 млн при оценке $6,4 млрд.

Инциденты быстро дошли до политики. Белый дом попросил OpenAI и Anthropic не передавать новые модели британскому AISI до проверки американскими ведомствами; по данным Politico, Anthropic сделала Claude Mythos 5.1 доступной только американским организациям. Сэм Альтман и Дарио Амодеи выступили в Совете Безопасности ООН с призывом к международному контролю.

При плохом управлении ИИ может стать риском для человечества в целом

Дарио Амодеи, глава Anthropic, на заседании Совбеза ООН (по данным iTnews)

Председатель КНР Си Цзиньпин во время визита в Белый дом призвал сохранить контроль человека над ИИ, а в Конгрессе США внесли законопроект о полном запрете сверхинтеллекта с наказанием для людей до 20 лет тюрьмы. Шансы на его принятие пока неясны.

04Как ИИ-компании снижают риски

Ведущие лаборатории используют похожий набор инструментов. Базовый — red teaming: специальные команды и внешние эксперты пытаются заставить модель сделать что-то опасное, чтобы найти слабые места до выпуска. Второй — формальные оценки опасных возможностей (evals): модель тестируют на задачах из биологии, кибератак, автономной работы. Третий — внешнее тестирование государственными институтами: британский AISI, например, проверял GPT-6 Astra до её выпуска.

Поверх этих практик компании публикуют политики, которые заранее связывают уровень возможностей модели с обязательными мерами защиты. Если оценки показали опасный уровень, модель нельзя выпускать, пока не введены соответствующие ограничения.

Критики отмечают, что такие документы остаются добровольными и компания сама решает, как их трактовать. Второй выпуск International AI Safety Report, вышедший 3 февраля 2026 года под руководством Бенджио, прямо предупреждает, что опытные атакующие часто могут обойти текущие защитные механизмы, а реальная эффективность многих мер пока неясна. Подробнее о подходе одной из лабораторий — в разборе что такое Anthropic.

05Регулирование: EU AI Act, NIST и саммиты

Главный международный ориентир — саммит в Блетчли-парке в ноябре 2023 года, посвящённый рискам злоупотребления и потери контроля над передовыми моделями. По его итогам появились британский и американский институты безопасности ИИ, а позже — International AI Safety Report.

Самый жёсткий закон — европейский AI Act. Он делит ИИ-системы по уровню риска: часть практик запрещена полностью, для систем высокого риска вводятся требования к данным, документации, надзору человека и кибербезопасности, а для моделей общего назначения — отдельные обязательства. Закон вступает в силу поэтапно.

Штрафы ощутимые: за запрещённые практики — до €35 млн или 7% мирового годового оборота компании, за нарушение большинства других обязательств — до €15 млн или 3%. Действует большая из двух сумм, для малого бизнеса и стартапов — меньшая.

В США обязательного федерального закона нет, зато широко используется добровольный стандарт NIST AI Risk Management Framework. Версия 1.0 вышла 26 января 2023 года, а 26 июля 2024 года NIST выпустил профиль для генеративного ИИ (NIST-AI-600-1). Фреймворк строится вокруг четырёх функций: Govern (управление), Map (картирование рисков), Measure (измерение) и Manage (реагирование). Все новости о законах — по метке регулирование ИИ.

06Чек-лист: безопасность данных при использовании ИИ в бизнесе

Компании редко обучают собственные передовые модели, но почти все уже используют чужие — в чат-ботах, помощниках для кода, агентах для продаж и поддержки. Главные риски здесь связаны с данными и правами доступа. Минимальный порядок действий:

1. 1
   Проведите инвентаризацию: какие ИИ-сервисы используют сотрудники (в том числе личные аккаунты) и какие данные туда попадают.
2. 2
   Классифицируйте данные и запретите загружать во внешние модели персональные данные, коммерческую тайну и ключи доступа без согласованного корпоративного тарифа.
3. 3
   Проверьте договор с поставщиком: используются ли ваши данные для обучения, где они хранятся, сколько живут логи, есть ли возможность удаления.
4. 4
   Держите самые чувствительные данные на своих серверах или в открытых моделях, развёрнутых внутри периметра.
5. 5
   Давайте агентам минимальные права: только нужные инструменты, доступ на чтение вместо записи, подтверждение человеком перед отправкой писем, платежами и удалением данных.
6. 6
   Считайте весь внешний контент недоверенным: письма, файлы и веб-страницы могут содержать промпт-инъекции.
7. 7
   Не передавайте ответы модели напрямую в код, базы данных и SQL-запросы без проверки и экранирования.
8. 8
   Логируйте запросы и действия агентов, ставьте лимиты на расход и число вызовов.
9. 9
   Проверяйте ответы человеком там, где ошибка стоит денег или здоровья: юридические, медицинские, финансовые решения.
10. 10
    Раз в квартал проводите собственный red teaming: попробуйте заставить своего бота раскрыть данные или системные инструкции.

07Специалист по безопасности ИИ: навыки и где учиться

Профессия находится на стыке кибербезопасности и машинного обучения. Специалист по безопасности ИИ должен понимать, как устроены и обучаются модели, и одновременно мыслить как атакующий: искать промпт-инъекции, утечки, способы отравить данные или извлечь модель.

• Основы машинного обучения и устройства больших языковых моделей, RAG и агентных систем.
• Классическая кибербезопасность: тесты на проникновение, безопасная разработка, управление доступом.
• Атаки на ML-системы: adversarial-атаки, data poisoning, model extraction, промпт-инъекции.
• MLSecOps — встраивание проверок безопасности во весь жизненный цикл модели.
• Знание стандартов и регулирования: OWASP Top 10 for LLM, NIST AI RMF, EU AI Act.
• Навыки red teaming и написания оценок (evals) для моделей.

В России профильные магистратуры уже есть. В ИТМО работает программа «Безопасность систем искусственного интеллекта» по направлению «Информационная безопасность» с дисциплинами «Атаки на системы ИИ», «Киберустойчивость систем ИИ» и «Валидация систем ИИ»; среди работодателей выпускников вуз называет «Сбер», «Ростелеком», РЖД и «Газпром нефть». В МИЭМ ВШЭ в 2026 году открыт первый набор на программу «Информационная безопасность систем искусственного интеллекта», где изучают противодействие adversarial-атакам, отравлению данных и извлечению моделей; есть онлайн-формат.

08Что будет дальше

Безопасность ИИ стремительно переходит из академической темы в операционную. Для лабораторий это вопрос допуска моделей на рынок и отношений с государствами, для бизнеса — вопрос защиты данных и ответственности за действия агентов. Чем больше автономии получают ИИ-системы, тем важнее становятся ограничение прав, журналирование и контроль человека.

Ближайшие вехи понятны: применение основной части EU AI Act, новые политики лабораторий после инцидентов с агентами и спор США и Китая о глобальных правилах. Следить за новостями удобно по метке безопасность ИИ.