Матриця серйозності інцидентів GenAI: Спеціальна модель оцінювання для реагування на кіберзагрози

Інцидент інформаційних технологій (ІТ):

ІТ-інцидент — це будь-яке незаплановане переривання або зниження якості ІТ-послуги. Інциденти варіюються від незначних проблем, таких як повільна робота додатку, до критичних збоїв, включаючи відмову серверів. Управління інцидентами (IM) спрямоване на ефективне вирішення цих інцидентів, забезпечуючи швидке відновлення ІТ-послуг.

Кіберінцидент:

Подія, яка може поставити під загрозу конфіденційність, цілісність або доступність інформації чи інформаційної системи, або становить загрозу для політик безпеки чи процедур безпеки.

Реагування на кіберінциденти та рівні серйозності:

Реагування на інциденти (IR) — це організований процес, якого дотримується організація для відновлення після інциденту безпеки. Основна мета програми реагування на кіберінциденти — обмежити шкоду та зменшити витрати і час відновлення після порушення безпеки, забезпечуючи безперервність бізнесу та збереження цілісності систем і даних.

\ Інциденти повинні мати різні рівні серйозності, оскільки не всі події мають однаковий вплив на бізнес. Призначення рівня серйозності є критичним кроком, який визначає швидкість та обсяг ресурсів, виділених для реагування.

Інцидент GenAI та матриця серйозності:

Загальне використання методів штучного інтелекту (ШІ), включаючи генеративний ШІ (GenAI) та великі мовні моделі (LLM) для особистих та професійних цілей, стало можливим завдяки технологічним досягненням у системах генеративних попередньо навчених трансформерів (GPT). Додатки GenAI створили нові ризики безпеки, які вимагають від команд інформаційної безпеки розширення своїх обов'язків щодо захисту цих систем.

\ Типи можливих інцидентів включають чатботів, що вводять в оману клієнтів, витік даних через ШІ-агентів та багато іншого. Центр операцій безпеки (SOC) та команди реагування на інциденти (IR) потребують прикладної матриці серйозності для інцидентів ШІ, щоб створити стандартизовану систему, яка визначає фактичні наслідки та рівні серйозності подій, пов'язаних з ШІ.

\ Інструмент, описаний у статті, функціонує для визначення рівнів серйозності інцидентів для належного розподілу ресурсів IR. Нова система інтегрує числові дані з факторами оцінки людини, використовуючи метод оцінки на основі матриці.

\ Матриця містить п'ять "вимірів впливу", які оцінюють вплив на функціональність ШІ, цілісність даних, доступність операцій, репутацію та зусилля з усунення наслідків.

\ Інструмент дозволяє оцінювати кожен вимір за допомогою системи оцінювання, яка може мати низькі (1), середні (2), високі (3) або критичні (4) оцінки.

Фактори, які слід враховувати перед оголошенням інциденту:

Попередня оцінка повинна відбутися перед оголошенням інциденту ШІ, оскільки це допомагає встановити потребу в значних ресурсах та негайних процедурах сортування. Системи ШІ мають особливі характеристики, які відрізняють їх від усіх інших систем.

\ Оцінка повинна визначити, які системи ШІ брали участь в інциденті, та визначити їх значення для операційної безпеки та бізнес-операцій. Деякі приклади систем — це чатботи, моделі комп'ютерного зору, рекомендаційні системи, користувацькі агенти тощо. Оцінка функціонального впливу вимагає від дослідників аналізу того, як змінюється операційний дизайн, коли системи ШІ стикаються з атаками противників.

\ Система показує різні рівні несправності, які включають незначні проблеми з продуктивністю, що впливають на точність і швидкість, та серйозні проблеми, які призводять до збоїв системи та небезпечних або несправедливих результатів. Деякі проблеми з продуктивністю можуть бути пов'язані зі зниженою точністю та збільшенням затримки у відповідях моделі.

\ Система вимагає ідентифікації двох речей відповідно до структури ATLAS: характеру виявленої аномалії та того, чи вона походить від атаки противника або несправності системи. MITRE ATLAS (MITRE, 2025) дозволяє користувачам ідентифікувати конкретні техніки атак (наприклад, ін'єкція промпту LLM, отруєння навчальних даних, відмова в обслуговуванні ШІ), які показують як цілі атаки, так і їх відповідну класифікацію.

\ Оцінка включає перевірку цілісності та конфіденційності даних шляхом перевірки будь-якого компрометування навчальних або валідаційних даних та конфіденційної інформації (PII, PHI, власна модель IP) та ексфільтрації. Процес оцінки повинен визначити, наскільки вихідні дані системи ШІ впливають на операційні та системні елементи бізнес-сервісу, які залежать від її результатів. Слід визначити ступінь фізичної небезпеки, а також фінансових втрат для бізнесу.

Розрахунок серйозності оголошеного інциденту

Оцінка оголошених інцидентів потребує стандартизованих методів для встановлення відповідних процедур реагування. Оцінка серйозності інциденту вимагає як числових даних, так і людського судження через системи на основі матриць для досягнення точної оцінки. Рівень серйозності інциденту досягає свого максимального значення з будь-якої відповідної категорії впливу, що дозволяє серйозним елементам підвищити пріоритет всього інциденту.

Система оцінювання для кожного відповідного виміру (A-E) працює від 1 до 4 для визначення серйозності інциденту для організацій. Рейтинг серйозності інциденту стає максимальною оцінкою з усіх оцінених вимірів, що визначає повний рівень серйозності. Інцидент може досягти "критичного" статусу, якщо оцінка функціонального впливу становить "2", але вплив на дані досягає "4", тоді як інші виміри коливаються від "1" до "2". Структурований процес оцінки дозволяє організаціям отримувати стандартизовані результати, одночасно прискорюючи процес оцінки.

\ Організаціям потрібно вибрати між впровадженням цієї структури як є або створенням власної версії, яка відповідає їхнім існуючим системам розрахунку для встановлення рівнів серйозності інцидентів ШІ.

Пріоритезація ризиків на основі серйозності інциденту ШІ:

Розрахунок рівня серйозності допомагає командам реагування на інциденти вирішити, які ризики потребують негайної уваги при плануванні реагування та розподілі ресурсів. Реагування на серйозні інциденти вимагає негайного розгортання спеціалізованої команди, що складається з експертів з кібербезпеки, інженерів ШІ/МН, науковців з даних, юристів та представників PR. Реагування на інциденти з нижчими рівнями серйозності потребує меншої кількості персоналу для їх управління.

\ Критичні інциденти потребують негайного повідомлення керівництва та членів правління, юридичної команди, регуляторного органу та публічних зацікавлених сторін, але інциденти з низьким рівнем серйозності повинні отримувати лише обмежений внутрішній обмін інформацією. Вимкнення системи разом з відключенням API функціонують як перші механізми захисту, які запобігають поширенню інцидентів високої серйозності. Процес стримування для інцидентів нижчої серйозності повинен запобігати виникненню серйозних операційних збоїв.