Частина серії перекладу NIST AI Risk Management Framework. Це неофіційний переклад — у разі розбіжностей чинний оригінал англійською, відкрийте тікет у гітлабі, щоб покращити його.
← Попередня частина: Розділ 1 — Формулювання ризику (Framing Risk)
2. Аудиторія
Виявлення ризиків ШІ та потенційних впливів — як позитивних, так і негативних — і управління ними потребує широкого набору поглядів і акторів упродовж усього життєвого циклу ШІ. В ідеалі актори ШІ мають представляти різноманітний досвід, експертизу та походження і формувати команди, різноманітні з погляду демографії та дисциплін. AI RMF призначений для використання акторами ШІ на всіх етапах і вимірах життєвого циклу ШІ.
OECD розробила фреймворк для класифікації діяльності в життєвому циклі ШІ за пʼятьма ключовими соціотехнічними вимірами, кожен із яких має властивості, значущі для політики та врядування у сфері ШІ, зокрема для управління ризиками [OECD (2022) OECD Framework for the Classification of AI systems — OECD Digital Economy Papers]. Рисунок 2 показує ці виміри, дещо змінені NIST для цілей цього фреймворку. Модифікація NIST підкреслює важливість процесів тестування, оцінювання, верифікації та валідації (TEVV — test, evaluation, verification, and validation) упродовж усього життєвого циклу ШІ та узагальнює операційний контекст системи ШІ.
Виміри ШІ, показані на рисунку 2, — це Контекст застосування, Дані та вхідні дані, Модель ШІ, а також Завдання та результати. Актори ШІ, залучені в ці виміри, які виконують проєктування, розробку, розгортання, оцінювання та використання систем ШІ чи керують ними і рухають зусилля з управління ризиками ШІ, є основною аудиторією AI RMF.
Типових акторів ШІ в розрізі вимірів життєвого циклу наведено на рисунку 3 і детально описано в Додатку A. У межах AI RMF усі актори ШІ працюють разом, щоб управляти ризиками й досягати цілей довіреного та відповідального ШІ. Актори ШІ з експертизою саме в TEVV інтегровані впродовж усього життєвого циклу ШІ, і саме вони, найімовірніше, отримають від фреймворку найбільшу користь. Регулярне виконання завдань TEVV може давати висновки щодо відповідності технічним, суспільним, правовим та етичним стандартам чи нормам, а також допомагати передбачати впливи, оцінювати й відстежувати нові ризики, що виникають. Як регулярний процес у межах життєвого циклу ШІ, TEVV дозволяє як виправлення на ходу, так і управління ризиками постфактум.
Рис. 2. Життєвий цикл і ключові виміри системи ШІ. Змінено на основі OECD (2022) OECD Framework for the Classification of AI systems — OECD Digital Economy Papers. Два внутрішні кола показують ключові виміри систем ШІ, а зовнішнє коло — етапи життєвого циклу ШІ. В ідеалі зусилля з управління ризиками починаються з функції «Планування та проєктування» в контексті застосування і виконуються впродовж усього життєвого циклу системи ШІ. Приклади типових акторів ШІ див. на рисунку 3.
Текстова версія рисунка
| Ключовий вимір (внутрішнє коло) | Етапи життєвого циклу (зовнішнє коло) |
|---|---|
| Контекст застосування (Application Context) | Планування та проєктування; Експлуатація та моніторинг |
| Дані та вхідні дані (Data and Input) | Збір і обробка даних |
| Модель ШІ (AI Model) | Побудова та використання моделі; Верифікація та валідація |
| Завдання та результати (Task and Output) | Розгортання та використання |
| У центрі: Люди та планета (People and Planet) | — |
Вимір «Люди та планета» в центрі рисунка 2 представляє права людини та ширший добробут суспільства й планети. Актори ШІ в цьому вимірі становлять окрему аудиторію AI RMF, яка інформує основну аудиторію. До таких акторів ШІ можуть належати галузеві асоціації, організації з розроблення стандартів, дослідники, правозахисні групи, екологічні групи, організації громадянського суспільства, кінцеві користувачі, а також особи та спільноти, які потенційно зазнають впливу.
Ці актори можуть:
- допомагати з наданням контексту та розумінням потенційних і фактичних впливів;
- бути джерелом формальних чи квазіформальних норм і настанов щодо управління ризиками ШІ;
- визначати межі функціонування ШІ (технічні, суспільні, правові та етичні);
- сприяти обговоренню компромісів, необхідних для балансу суспільних цінностей і пріоритетів, повʼязаних із громадянськими свободами й правами, рівністю, довкіллям і планетою, а також економікою.
Успішне управління ризиками залежить від почуття колективної відповідальності серед акторів ШІ, показаних на рисунку 3. Функції AI RMF, описані в розділі 5, потребують різноманітних поглядів, дисциплін, професій і досвіду. Різноманітні команди сприяють відкритішому обміну ідеями та припущеннями щодо цілей і функцій технології — роблячи ці неявні аспекти явнішими. Така ширша колективна перспектива створює можливості для виявлення проблем, а також наявних і нових ризиків.
Рис. 3. Актори ШІ на етапах життєвого циклу ШІ. Детальні описи завдань акторів ШІ, зокрема щодо тестування, оцінювання, верифікації та валідації, див. у Додатку A. Зверніть увагу: актори ШІ у вимірі «Модель ШІ» (рисунок 2) розділені як найкраща практика — ті, хто будує та використовує моделі, відокремлені від тих, хто моделі верифікує та валідує.
| Вимір → етап | TEVV | Діяльність | Типові актори |
|---|---|---|---|
| Контекст застосування → Планування та проєктування | включає аудит та оцінювання впливу | формулювання та документування концепції та цілі системи, базові припущення та контекст з урахуванням правових і регуляторних вимог та етичних міркувань | оператори систем; кінцеві користувачі; експерти предметної галузі; дизайнери ШІ; оцінювачі впливу; експерти з TEVV; продакт-менеджери; експерти з комплаєнсу; аудитори; експерти з врядування; організаційний менеджмент; керівники рівня C-suite; особи/спільноти, що зазнають впливу; оцінювачі |
| Дані та вхідні дані → Збір і обробка даних | включає внутрішню та зовнішню валідацію | збирання, валідації й очищення даних, документування метаданих та характеристики набору даних з урахуванням цілей, правових та етичних міркувань | фахівці з даних (data science); інженери даних (data engineers); постачальники даних; експерти предметної галузі; соціокультурні аналітики; експерти з людського фактора; експерти з TEVV |
| Модель ШІ → Побудова та використання моделі | включає тестування моделі | створення чи вибір алгоритму; навчання моделі | розробники моделей; інженери моделей; фахівці з data science; розробники; експерти предметної галузі — із залученням соціокультурних аналітиків, обізнаних із контекстом застосування, та експертів з TEVV (спільні для етапів 3 і 4) |
| Модель ШІ → Верифікація та валідація | включає тестування моделі | верифікація та валідація, калібрування та інтерпретування результатів моделі | розробники моделей; інженери моделей; фахівці з data science; розробники; експерти предметної галузі — із залученням соціокультурних аналітиків, обізнаних із контекстом застосування, та експертів з TEVV (спільні для етапів 3 і 4) |
| Завдання та результати → Розгортання та використання | включає інтеграцію, тестування на відповідність і валідацію | пілотування, перевірка сумісності зі спадковими системами, верифікація відповідності регуляторним вимогам, керування організаційними змінами та оцінка користувацького досвіду | системні інтегратори; розробники; системні інженери; програмні інженери; експерти предметної галузі; експерти із закупівель; сторонні постачальники; керівники рівня C-suite — із залученням експертів з людського фактора, соціокультурних аналітиків, експертів з врядування, експертів з TEVV |
| Контекст застосування → Експлуатація та моніторинг | включає аудит та оцінювання впливу | експлуатація системи ШІ та безперервне оцінювання її рекомендацій та впливів (як заплановані, так і незаплановані) з урахуванням цілей, правових і регуляторних вимог та етичних міркувань | оператори систем; кінцеві користувачі та практики; експерти предметної галузі; дизайнери ШІ; оцінювачі впливу; експерти з TEVV; ті, хто фінансує системи; продакт-менеджери; експерти з комплаєнсу; аудитори; експерти з врядування; організаційний менеджмент; особи/спільноти, що зазнають впливу; оцінювачі |
| Люди та планета → Використання або зазнавання впливу | включає аудит та оцінювання впливу | використання систем/технологій; моніторинг та оцінювання впливів; домагання помʼякшення впливів; обстоювання прав | кінцеві користувачі, оператори та практики; особи/спільноти, що зазнають впливу; широка громадськість; посадовці, що формують політику; організації зі стандартизації; галузеві асоціації; правозахисні групи; екологічні групи; організації громадянського суспільства; дослідники |
Далі: Розділ 3 — Ризики ШІ та довіреність (AI Risks and Trustworthiness).