NIST AI RMF: Формулювання ризику (Framing Risk)

Частина серії перекладу NIST AI Risk Management Framework. Це неофіційний переклад — у разі розбіжностей чинний оригінал англійською та відкрийте тікет у гітлабі, щоб покращити його.

← Попередня частина: Вступ (Executive Summary)

Частина 1: Базова інформація

1. Формулювання ризику

Управління ризиками ШІ пропонує шлях до мінімізації потенційних негативних впливів систем ШІ, як-от загроз громадянським свободам і правам, водночас надаючи можливості для максимізації позитивних впливів. Ефективне усунення, документування та управління ризиками ШІ й потенційними негативними впливами може привести до більш довірених систем ШІ.

1.1 Розуміння та усунення ризиків, впливів і шкоди

У контексті AI RMF ризик означає комплексну міру ймовірності настання події та величини чи ступеня наслідків цієї події. Впливи, або наслідки, систем ШІ можуть бути позитивними, негативними або й тими, й тими, і можуть спричиняти як можливості, так і загрози (адаптовано з: ISO 31000:2018). Коли йдеться про негативний вплив потенційної події, ризик є функцією

1. негативного впливу, або величини шкоди, яка виникне у разі настання обставини чи події, та
2. ймовірності її настання (адаптовано з: OMB Circular A-130:2016). Негативного впливу чи шкоди можуть зазнавати окремі особи, групи, спільноти, організації, суспільство, довкілля та планета.

«Управління ризиками означає скоординовані дії з керівництва та контролю організації щодо ризику» (джерело: ISO 31000:2018).

Хоча процеси управління ризиками зазвичай зосереджені на негативних впливах, цей Фреймворк пропонує підходи як до мінімізації очікуваних негативних впливів систем ШІ, так і до виявлення можливостей для максимізації позитивних впливів. Ефективне управління ризиком потенційної шкоди може привести до більш довірених систем ШІ та розкрити потенційні переваги для людей (окремих осіб, спільнот і суспільства), організацій та систем/екосистем. Управління ризиками дає змогу розробникам і користувачам ШІ розуміти впливи та враховувати притаманні їхнім моделям і системам обмеження й невизначеності, що своєю чергою може покращити загальну продуктивність і довіреність системи, а також імовірність того, що технології ШІ використовуватимуться на користь.

AI RMF розроблено так, щоб реагувати на нові ризики в міру їх появи. Ця гнучкість особливо важлива там, де впливи важко передбачити заздалегідь, а застосування ШІ ще розвиваються. Хоча деякі ризики та переваги ШІ добре відомі, оцінити негативні впливи та ступінь шкоди буває непросто. Рисунок 1 наводить приклади потенційної шкоди, повʼязаної із системами ШІ.

Зусилля з управління ризиками ШІ мають враховувати, що люди можуть вважати, ніби системи ШІ працюють — і працюють добре — за будь-яких умов. Наприклад, незалежно від того, чи так це насправді, системи ШІ часто сприймають як більш обʼєктивні порівняно з людьми або як такі, що мають ширші можливості порівняно зі звичайним програмним забезпеченням.

Рис. 1. Приклади потенційної шкоди, повʼязаної із системами ШІ. Довірені системи ШІ та їх відповідальне використання можуть помʼякшувати негативні ризики та сприяти отриманню переваг для людей, організацій та екосистем.

flowchart TB
    H(["Приклади потенційної шкоди"])
    H --> P & O & E

    subgraph P["Шкода людям"]
        direction TB
        P1["`**Особі:** шкода громадянським свободам, правам, фізичній чи психологічній безпеці або економічним можливостям людини`"]
        P2["`**Групі/спільноті:** шкода групі, наприклад дискримінація підгрупи населення`"]
        P3["`**Суспільству:** шкода демократичній участі чи доступу до освіти`"]
        P1 ~~~ P2 ~~~ P3
    end

    subgraph O["Шкода організації"]
        direction TB
        O1["Шкода бізнес-операціям організації"]
        O2["Шкода від порушень безпеки чи фінансових втрат"]
        O3["Шкода репутації організації"]
        O1 ~~~ O2 ~~~ O3
    end

    subgraph E["Шкода екосистемі"]
        direction TB
        E1["Шкода взаємоповʼязаним і взаємозалежним елементам та ресурсам"]
        E2["Шкода глобальній фінансовій системі, ланцюгам постачання чи повʼязаним системам"]
        E3["Шкода природним ресурсам, довкіллю та планеті"]
        E1 ~~~ E2 ~~~ E3
    end

    classDef head fill:#46668a,stroke:#46668a,color:#fff
    class H head

1.2 Виклики для управління ризиками ШІ

Нижче описано кілька викликів. Їх слід враховувати під час управління ризиками задля досягнення довіреності ШІ.

1.2.1 Вимірювання ризику

Ризики чи збої ШІ, які погано визначені або недостатньо зрозумілі, важко виміряти кількісно чи якісно. Неможливість належно виміряти ризики ШІ не означає, що система ШІ обовʼязково становить високий або низький ризик. Серед викликів вимірювання ризику:

Ризики, повʼязані зі стороннім програмним забезпеченням, апаратним забезпеченням і даними: Дані або системи третіх сторін можуть пришвидшувати дослідження та розробку і полегшувати технологічний перехід. Водночас вони можуть ускладнювати вимірювання ризику. Ризик може виникати як із самих сторонніх даних, програмного чи апаратного забезпечення, так і зі способу їх використання. Метрики ризику або методології, які використовує організація-розробник системи ШІ, можуть не збігатися з метриками чи методологіями, які використовує організація, що розгортає чи експлуатує систему. Крім того, організація-розробник системи ШІ може не розкривати використані нею метрики ризику чи методології. Вимірювання й управління ризиком можуть ускладнюватися тим, як клієнти використовують або інтегрують сторонні дані чи системи в продукти чи послуги ШІ, особливо за відсутності достатніх внутрішніх структур управління та технічних запобіжників. Попри це, усі сторони й актори ШІ мають управляти ризиком у системах ШІ, які вони розробляють, розгортають чи використовують як окремі або інтегровані компоненти.

Відстеження нових ризиків, що виникають: Зусилля організацій з управління ризиками посиляться, якщо вони вчасно виявлятимуть і відстежуватимуть нові ризики, що виникають, та розглядатимуть техніки для їх вимірювання. Підходи до оцінювання впливу систем ШІ можуть допомогти акторам ШІ зрозуміти потенційні впливи чи шкоду в конкретних контекстах.

Наявність надійних метрик: Брак консенсусу щодо надійних і перевірюваних методів вимірювання ризику й довіреності та їх застосовності до різних варіантів використання ШІ є викликом для вимірювання ризику ШІ. Потенційні пастки під час спроб виміряти негативний ризик чи шкоду включають те, що розробка метрик часто є інституційним заходом і може ненавмисно відображати чинники, не повʼязані з базовим впливом. Крім того, підходи до вимірювання можуть бути надто спрощеними, піддаватися маніпуляціям, позбавленими критичних нюансів, застосовуватися в неочікувані способи або не враховувати відмінності між ураженими групами й контекстами.

Підходи до вимірювання впливу на населення працюють найкраще, якщо вони враховують, що контекст має значення, що шкода може по-різному вражати різні групи чи підгрупи, і що спільноти чи інші підгрупи, які можуть постраждати, не завжди є прямими користувачами системи.

Ризик на різних етапах життєвого циклу ШІ: Вимірювання ризику на ранньому етапі життєвого циклу ШІ може дати інші результати, ніж вимірювання ризику на пізнішому етапі; деякі ризики можуть бути прихованими в певний момент часу і зростати в міру того, як системи ШІ адаптуються та розвиваються. Крім того, різні актори ШІ на різних етапах життєвого циклу можуть мати різні погляди на ризик. Наприклад, розробник ШІ, який надає програмне забезпечення ШІ, скажімо, попередньо навчені моделі, може мати інший погляд на ризик, ніж актор ШІ, відповідальний за розгортання цієї попередньо навченої моделі у конкретному варіанті використання. Такі суб’єкти можуть не усвідомлювати, що їхні конкретні застосування можуть нести ризики, відмінні від тих, які бачив початковий розробник. Усі залучені актори ШІ поділяють відповідальність за проєктування, розробку та розгортання довіреної системи ШІ, придатної для свого призначення.

Ризик у реальних умовах: Хоча вимірювання ризиків ШІ в лабораторії чи контрольованому середовищі може дати важливі відомості до розгортання, ці вимірювання можуть відрізнятися від ризиків, які виникають у реальних, операційних умовах.

Незбагненність: Незбагненні системи ШІ можуть ускладнювати вимірювання ризику. Незбагненність може бути наслідком непрозорої природи систем ШІ (обмеженої пояснюваності чи інтерпретовності), браку прозорості чи документації під час розробки або розгортання системи ШІ, або притаманних системам ШІ невизначеностей.

Людський базовий рівень: Управління ризиками систем ШІ, покликаних доповнювати чи заміняти діяльність людини, наприклад ухвалення рішень, потребує певної форми базових метрик для порівняння. Систематизувати це складно, оскільки системи ШІ виконують інші завдання — і виконують завдання інакше — ніж люди.

1.2.2 Толерантність до ризику

Хоча AI RMF можна використовувати для пріоритизації ризику, він не приписує рівень толерантності до ризику. Толерантність до ризику означає готовність організації чи актора ШІ (див. Додаток A) нести ризик заради досягнення своїх цілей. На толерантність до ризику можуть впливати юридичні чи регуляторні вимоги (адаптовано з: ISO Guide 73). Толерантність до ризику та рівень ризику, прийнятний для організацій чи суспільства, значною мірою залежать від контексту, застосування та конкретного варіанту використання. На толерантність до ризику можуть впливати політики й норми, встановлені власниками систем ШІ, організаціями, галузями, спільнотами чи регуляторами. Толерантність до ризику, ймовірно, змінюватиметься з часом у міру розвитку систем ШІ, політик і норм. Різні організації можуть мати різну толерантність до ризику через свої особливі організаційні пріоритети та ресурсні міркування.

Нові знання й методи для кращого обґрунтування компромісів між шкодою та вигодами продовжуватимуть розроблятися й обговорюватися бізнесом, урядами, науковою спільнотою та громадянським суспільством. Доки виклики щодо визначення толерантності до ризику ШІ залишаються невирішеними, можуть існувати контексти, де фреймворк управління ризиками ще не повністю застосовний для помʼякшення негативних ризиків ШІ.

Фреймворк покликаний бути гнучким і доповнювати наявні практики управління ризиками, які мають узгоджуватися з чинними законами, регламентами та нормами. Організаціям слід дотримуватися наявних регламентів і настанов щодо критеріїв ризику, толерантності та реагування, встановлених організаційними, галузевими, дисциплінарними, секторальними чи професійними вимогами. У деяких секторах чи галузях можуть бути усталені визначення шкоди або встановлені вимоги до документування, звітності й розкриття інформації. У межах секторів управління ризиками може спиратися на наявні настанови для конкретних застосувань і варіантів використання. Там, де усталених настанов немає, організаціям слід самостійно визначити прийнятну толерантність до ризику. Щойно толерантність визначено, цей AI RMF можна використовувати для управління ризиками та документування процесів управління ризиками.

1.2.3 Пріоритизація ризику

Спроби повністю усунути негативний ризик на практиці можуть бути контрпродуктивними, адже не всі інциденти й збої можна усунути. Нереалістичні очікування щодо ризику можуть підштовхувати організації розподіляти ресурси так, що тріаж ризиків стає неефективним чи непрактичним або марнує обмежені ресурси. Культура управління ризиками може допомогти організаціям визнати, що не всі ризики ШІ однакові, і розподіляти ресурси цілеспрямовано. Дієві зусилля з управління ризиками визначають чіткі настанови для оцінювання довіреності кожної системи ШІ, яку розробляє чи розгортає організація. Політики й ресурси слід пріоритизувати на основі оціненого рівня ризику та потенційного впливу системи ШІ. Одним із чинників може бути те, наскільки систему ШІ можна налаштувати чи адаптувати до конкретного контексту використання суб’єктом, що розгортає рішення з ШІ.

Застосовуючи AI RMF, ризики, які організація визначає як найвищі для систем ШІ в заданому контексті використання, потребують найтерміновішої пріоритизації та найретельнішого процесу управління ризиками. Якщо система ШІ становить неприйнятний рівень негативного ризику — наприклад, коли значні негативні впливи неминучі, вже відбувається серйозна шкода або наявні катастрофічні ризики, — розробку та розгортання слід безпечно припинити, доки ризики не вдасться достатньою мірою опанувати. Якщо розробка, розгортання та варіанти використання системи ШІ визнано низькоризиковими в конкретному контексті, це може свідчити про потенційно нижчу пріоритизацію.

Пріоритизація ризику може відрізнятися для систем ШІ, спроєктованих чи розгорнутих для прямої взаємодії з людьми, порівняно із системами, які так не взаємодіють. Вищий початковий пріоритет може знадобитися в ситуаціях, коли систему ШІ навчено на великих наборах даних, що містять чутливі чи захищені дані, як-от персональні дані, або коли результати роботи системи ШІ прямо чи опосередковано впливають на людей. Системи ШІ, розроблені для взаємодії лише з обчислювальними системами і навчені на нечутливих наборах даних (наприклад, даних, зібраних із фізичного середовища), можуть потребувати нижчого початкового пріоритету. Проте регулярне оцінювання та пріоритизація ризику з урахуванням контексту залишаються важливими, оскільки системи ШІ, не орієнтовані на людину, можуть мати опосередковані наслідки для безпеки чи суспільства.

Залишковий ризик — визначений як ризик, що залишається після обробки ризику (джерело: ISO Guide 73), — безпосередньо впливає на кінцевих користувачів чи уражені особи й спільноти. Документування залишкових ризиків вимагатиме від постачальника системи повною мірою враховувати ризики розгортання продукту ШІ та інформуватиме кінцевих користувачів про потенційні негативні впливи взаємодії із системою.

1.2.4 Організаційна інтеграція та управління ризиком

Ризики ШІ не слід розглядати ізольовано. Різні актори ШІ мають різні обовʼязки та рівень обізнаності залежно від своєї ролі в життєвому циклі. Наприклад, організації, які розробляють систему ШІ, часто не мають інформації про те, як цю систему використовуватимуть. Управління ризиками ШІ слід інтегрувати в ширші стратегії й процеси управління ризиками підприємства. Розгляд ризиків ШІ поряд з іншими критичними ризиками, такими як кібербезпека та приватність, дасть більш цілісний результат і організаційну ефективність.

AI RMF можна використовувати разом із суміжними настановами й фреймворками для управління ризиками систем ШІ або ширшими ризиками підприємства. Деякі ризики, повʼязані із системами ШІ, спільні з іншими видами розробки та розгортання програмного забезпечення. Приклади таких спільних ризиків: питання приватності, повʼязані з використанням базових даних для навчання систем ШІ; енергетичні та екологічні наслідки, повʼязані з ресурсомісткими обчислювальними потребами; питання безпеки, повʼязані з конфіденційністю, цілісністю та доступністю системи та її навчальних і вихідних даних; а також загальна безпека базового програмного й апаратного забезпечення систем ШІ.

Для ефективного управління ризиками організаціям необхідно запровадити й підтримувати належні механізми підзвітності, ролі та обовʼязки, культуру й структури стимулів. Саме лише використання AI RMF не призведе до цих змін і не створить належних стимулів. Ефективне управління ризиками реалізується через організаційну відданість на рівні вищого керівництва і може потребувати зміни культури всередині організації чи галузі. Крім того, малі та середні організації, які керують ризиками ШІ чи впроваджують AI RMF, можуть стикатися з іншими викликами, ніж великі організації, залежно від своїх можливостей і ресурсів.

Далі: Розділ 2 — Аудиторія (Audience).