05.04.2026 21:54
Новости.
Просмотров всего: 11295; сегодня: 7.

UDV Group: AI Security — безопасность искусственного интеллекта

Юрий Чернышов, к.ф.-м.н., доцент УНЦ «Искусственный интеллект» УрФУ, руководитель исследовательского центра UDV Group рассказал о сложностях обнаружения причины изменения поведения модели, о методах, которые подходят для анализа безопасности и о том, как оценивается устойчивость модели в условиях реального применения.

— Какие индикаторы помогают заметить ранние признаки отравления данных на этапе подготовки датасета?

Почти все, кто имеет практический опыт внедрения и использования проектов, включающих анализ данных и машинное обучение, уже в курсе, что подобные системы очень неустойчивы, чувствительны к внешним помехам. Причина этого не в том, что у разработчиков недостаточная экспертиза (хотя встречаются и такие случаи), а в том, что при обучении модели применяются наборы данных, которые не могут содержать все возможные ситуации при будущей эксплуатации. Да это и невозможно, поскольку всегда на практике имеет место так называемый «сдвиг в данных» (data shift) из-за меняющейся инфраструктуры, условий эксплуатации, поведения пользователей и пр. Поэтому очень сложно при обнаружении изменения поведения модели понять - что же является истинной причиной: сдвиг в данных, сбой датчика, помехи в сети передачи данных, некачественная модель ML, незначительная перегрузка инфраструктуры или это просто «шум» в рамках статистической погрешности. И за этими вариантами всегда сложно разглядеть атаку через отравление данных. Индикаторы для диагностики изменения традиционные: всесторонний статистический анализ характеристик данных, как по параметрам получения и обработки, так и по семантике. Но для принятия мер при обнаружении отклонения в поведении модели на основе данных необходима комплексная инфраструктура, включающая мониторинг оборудования, параметров данных и модели, метрик инференса (промышленного использования).

— Какие методы анализа позволяют выявлять бэкдор-активность в уже обученной модели?

Для анализа безопасности модели ИИ подходят все те же методы, применяемые при тестировании безопасности программного обеспечения: мониторинг, фаззинг, анализ взаимодействия с внешними компонентами. Сложность заключается в том, что невозможно понять логику работы модели, как это делается при анализе кода программного обеспечения, поскольку эта логика модели ИИ распределена по миллионам (как в случае с глубоким машинным обучением) или по миллиардам (как в случае с LLM) параметров. Поэтому применяется анализ модели ИИ как «черного ящика», анализируя вход и выход, оценивая параметры работы и потребление ресурсов. Исторический анализ параметров работы модели позволяет сформировать паттерны нормального поведения и анализировать в будущем отклонения от этих паттернов.

— Как оценивается устойчивость модели к adversarial-примерам в условиях реального применения?

Самый лучший способ для подобного анализа это red teaming, в том числе и с применением автоматизированных средств проверки: фаззинг, подбор проверяющих сэмплов, создание для модели критических условий для функционирования (ddos атака). Если есть возможность оценивать устойчивость в лабораторных условиях, то эффективным является схема генеративных состязательных сетей (GAN), в которых есть генератор, создающий сэмплы, и дискриминатор, пытающийся различить настоящие сэмплы и созданные генератором. При этом генератор и дискриминатор постоянно конкурируют друг с другом, генератор учится все лучше «обманывать», а дискриминатор – все лучше выявлять факт подделки.

— Какие техники усложняют попытки извлечения модели через API (model extraction)?

Для любого интерфейса взаимодействия, и API в том числе, важно настроить как можно более строгие правила доступа к ресурсу: авторизацию, аутентификацию и контроль за ресурсами. При этом необходимо проектировать API таким образом, чтобы минимизировать возможности взаимодействующей стороны, оставлять доступ только к той информации, которая ей предназначена, ограничивать разумными уровнями потребления ресурса, исходящими из технического задания и архитектуры проекта. Например, можно запретить длительные сессии взаимодействия, если проект этого не предполагает. Или ограничить количество запросов к ресурсу от одного источника таким уровнем, который достаточен для нормальной работы, все что аномально выше этого уровня – скорее всего свидетельствует о попытке автоматизированного сканирования или парсинга.

— Какие меры повышают защищенность датасетов от подмены, injection-атак и несанкционированных правок?

Наличие защищенных наборов данных - серьезная задача, без которой невозможно создавать качественные, надежные и полезные системы ИИ. Зачастую набор данных ценится даже больше, чем модель, обученная на его основе. Поэтому компании-разработчики систем ИИ так ценят свои наборы данных, защищают их наравне с программным кодом. Меры, защищающие наборы данных (датасеты) от злонамеренного искажения, такие же, как и при защите программного кода: требуется контролировать версионирование и доступ к изменениям, проводить тестирование и анализ характеристик после изменений.

— Какие механизмы мониторинга лучше всего подходят для отслеживания аномалий в поведении ИИ-модели?

Существует множество способов мониторить работу сложного устройства или системы, какой из них наиболее эффективен – сильно зависит от самой системы. Можно анализировать низкоуровневые параметры (трафик, потребление ресурсов оборудования), можно анализировать вход и выход модели ИИ (текст промпта и сгенерированный ответ), потребление токенов. Но на мой взгляд наиболее эффективно анализировать влияние применения модели на бизнес-процесс – если в бизнес-процессе появились отклонения (изменилась продолжительность звонков, частота отправки писем, поменялась бизнес-логика процесса, перестал компилироваться код и пр.), то скорее всего случился сбой в работе ИИ-модели и необходимо проводить расследование, в том числе с применением анализа низкоуровневых событий в инфраструктуре и ПО.

Тематические сайты: Безопасность, Информтехнологии, связь, Интернет, Инфраструктура, Искусственный интеллект
Сайты субъектов РФ: Москва, Московская область
Сайты федеральных округов РФ: Центральный федеральный округ
Сайты стран: Россия
Сайты объединений стран: БРИКС (BRICS)

Ньюсмейкер: UDV Group — 85 публикаций
Сайт: udv.group

Интересно:

PUNKT E лауреат национальной премии «Бренд года» 2026
20.11.2026 13:42 Новости
PUNKT E лауреат национальной премии «Бренд года» 2026
Крупнейшая в России сеть зарядных станций для электромобилей PUNKT E стала лауреатом национальной премии «Бренд года в России — 2026» в номинации «Электрокары и электротранспорт». Жюри премии третий год подряд отмечает значительный вклад компании в развитие инфраструктуры для электромобилей и популяризацию электротранспорта в стране. Сеть PUNKT E охватывает уже 67 регионов России и достигла впечатляющих результатов в 2026 году: - масштабировала сеть более, чем в три раза с 670 станций на 1 января 2026 года до 2351 на 20 ноября 2026; - перешагнула рубеж в 2 000 станций и более 200 000 зарегистрированных пользователей в мобильном приложении PUNKT E; - количество партнеров по франшизе выросло в 5 раз; - пользователи совершили более 2,5 млн зарядных сессий на станциях PUNKT E; - общее число клиентов выросло на 160%; - выбросы CO₂ сократились на 1745 тонн за счет пользователей...
Шоколадные короли Москвы
20.11.2026 09:06 Аналитика
Шоколадные короли Москвы
В Российской империи насчитывалось более 600 производителей сладкой продукции, отчаянно воевавших за сердца, вкусы и кошельки сладкоежек... Средоточием любителей пастилы, конфет, печенья и вафель в ту пору была Москва, иначе чем объяснить, что в древней столице обосновалась треть кондитерских фабрикантов всей страны? Большую их часть составляли иностранцы, знакомившие Россию с новыми видами сластей, рекламы и современного производства. Яркие обёртки шоколада, печенья и конфет наряду с броскими названиями и удивительными рисунками украшали имена Бижо и Тиде, Сиу и Эйнема, Гейса и Динга. Кипели сласти… Развитой патентной системы в этой области не существовало, так что полюбившиеся публике сладости производились сразу несколькими фабрикантами, а то и всеми подряд. Карамель «Раковые шейки» выпускали в Петербурге Конради, в Калуге — Ларионов, в Харькове — Кромский, в Москве — Абрикосов, Динг...
В Казахстане разрушили российский памятник на могиле 72 солдат РККА
19.11.2026 09:55 Новости
В Казахстане разрушили российский памятник на могиле 72 солдат РККА
Генконсульство РФ просит власти республики расследовать осквернение военно-мемориального объекта. АСТАНА, 18 ноября. /ТАСС/. Генеральное консульство России в Алма-Ате просит власти Казахстана расследовать осквернение военно-мемориального объекта в Таразе, которое произошло через месяц после завершения его ремонта. "Сегодня, 18 ноября 2026 года, генконсульству стало известно о вопиющем акте вандализма в отношении российского военно-мемориального объекта на территории Казахстана. В городе Тараз (Жамбылская область) была осквернена памятная стела, открытая по завершении масштабного ремонта 15 октября сего года на средства российской стороны", - говорится в сообщении генконсульства в Telegram-канале. Отмечено, что монумент, установленный на месте госпитального захоронения 72 неизвестных бойцов, умерших от ран в эвакуационных госпиталях города Джамбула, был практически полностью разрушен...
Otvetdesign разработал коллекцию мерча для «Балтики»
17.11.2026 19:33 Новости
Otvetdesign разработал коллекцию мерча для «Балтики»
Брендинговое агентство Otvetdesign представило коллекцию одежды и аксессуаров для амбассадоров и сотрудников пивоваренной компании «Балтика». Переосмыслив визуальную айдентику бренда через эстетику old money и современного стритстайла, команда создала линейку, которая объединила фирменные коды, функциональный дизайн и нестандартные детали. Балтийский дух в новом прочтении За последние годы «Балтика» последовательно обновляет образ бренда, сохраняя связь с историей и одновременно открываясь новым аудиториям. Сегодня его присутствие не ограничивается продуктом: бренд становится частью повседневной городской культуры. Одним из способов такого взаимодействия с аудиторией стала новая коллекция мерча.  Изначально проект предполагал создание линейки одежды и аксессуаров для амбассадоров и сотрудников компании. Перед агентством стояла задача выйти за рамки привычного корпоративного...
Музыкальное исполнительское искусство: мир Валерия Вороны
14.11.2026 16:30 Персоны
Музыкальное исполнительское искусство: мир Валерия Вороны
Валерий Иосифович Ворона — из тех деятелей российской культуры, в чьей биографии исполнитель, педагог, организатор и общественный деятель неотделимы друг от друга. Скрипач и дирижёр, ректор Государственного музыкально-педагогического института имени М. М. Ипполитова-Иванова, президент Фонда «Русское исполнительское искусство», солист Московской филармонии, художественный руководитель и главный дирижёр Московского молодёжного камерного оркестра, профессор Московской консерватории — за каждым из этих слов стоит не формальная должность, а десятилетия работы на сохранение и развитие российского исполнительского искусства. Путь музыканта Валерий Ворона родился 12 декабря 1950 года в Херсоне. Профессиональное образование получил в Государственном музыкально-педагогическом институте имени Гнесиных по классу скрипки, а затем прошёл ассистентуру-стажировку при Московской государственной...