Штучний інтелект може аналізувати тисячі резюме, допомагати лікарям оцінювати результати обстежень і розпізнавати обличчя на фотографіях. Здається, що машина має бути об’єктивнішою за людину: вона не втомлюється, не керується емоціями й здатна швидко обробляти великі обсяги даних. Але є проблема: алгоритми навчаються на інформації, яку створили люди, а отже, можуть переймати її недоліки.

У результаті система здатна віддавати перевагу одним кандидатам на роботу перед іншими, гірше розпізнавати людей із певними зовнішніми ознаками або відтворювати суспільні стереотипи. Це називають алгоритмічною упередженістю. Вона не обов’язково виникає через навмисну дискримінацію з боку розробників: іноді достатньо невдалого набору навчальних даних, неправильно сформульованого завдання або критеріїв оцінювання, які не враховують інтересів усіх груп людей.

Як алгоритм може відтворювати людські упередження

Уявімо компанію, яка використовує ШІ для первинного відбору кандидатів. Систему навчають на резюме людей, які раніше успішно обіймали керівні посади. Якщо серед цих працівників переважали чоловіки, алгоритм може засвоїти закономірності, характерні саме для їхніх кар’єрних шляхів. Через це резюме жінок із відповідною кваліфікацією ризикують отримувати нижчі оцінки.

Алгоритм не обов’язково «вважає» чоловіків кращими керівниками в людському розумінні. Він шукає закономірності в наданих даних і може помилково сприймати історичну нерівність як ознаку успіху. Якщо результати роботи системи ніхто належно не перевіряє, старі упередження перетворюються на автоматизовані рішення.

Важливо відрізняти звичайну помилку алгоритму від дискримінаційного результату. Якщо програма випадково неправильно оцінює окреме резюме, це ще не обов’язково свідчить про системну упередженість. Проблема стає серйознішою, коли помилки регулярно зачіпають певну групу людей і обмежують її доступ до роботи, послуг чи інших можливостей.

Де алгоритмічна упередженість уже завдавала шкоди

Проблема не обмежується теоретичними сценаріями. У 2018 році стало відомо, що експериментальна система рекрутингу Amazon віддавала перевагу деяким резюме чоловіків. Алгоритм навчався на історичних даних про кандидатів, у яких переважали чоловіки, і засвоїв закономірності, що відображали цей дисбаланс. Компанія припинила роботу над інструментом, оскільки не змогла гарантувати, що він не дискримінуватиме кандидаток.

Ще одна відома проблема стосується технологій розпізнавання облич. Дослідження показували, що деякі системи гірше визначали стать темношкірих жінок, ніж світлошкірих чоловіків. Серед причин була недостатня різноманітність зображень, на яких навчали алгоритми. Якщо певна група людей представлена в навчальних даних недостатньо, система може частіше помилятися саме під час роботи з нею.

Упередженість може впливати й на доступ до фінансових послуг або медичної допомоги. Наприклад, алгоритм оцінювання ризиків здатний відтворювати нерівність, закладену в історичних даних. Якщо попередні рішення були несправедливими до певної групи, система може продовжити цю тенденцію, навіть коли її розробники не ставили такої мети.

Чому складно зробити алгоритми справедливими

Проблема починається з даних. Модель машинного навчання знаходить закономірності в прикладах, на яких її тренують. Якщо інформація неповна, застаріла або не відображає різноманітності реального світу, результати можуть бути спотвореними. Саме тому важливо перевіряти не лише обсяг навчальних даних, а й те, кого вони представляють.

Впливає і спосіб постановки завдання. Перш ніж створювати алгоритм, розробники вирішують, що саме він має прогнозувати та за якими критеріями оцінюватимуть результат. Якщо обраний показник не враховує важливих обставин, система може приймати формально послідовні, але несправедливі рішення.

Не завжди зрозуміло, чому модель ухвалила конкретне рішення. Складні алгоритми можуть враховувати безліч взаємопов’язаних ознак. Навіть коли система працює технічно правильно, визначити причину певного результату буває непросто. Це ускладнює пошук помилок і перевірку того, чи не дискримінує алгоритм окремі групи.

Як зменшити ризик упередженості ШІ

Повністю усунути всі помилки неможливо, але ризики можна зменшити. Для цього потрібно перевіряти навчальні дані, тестувати систему на різних групах людей і порівнювати результати, які вона видає. Якщо певна група регулярно отримує гірші оцінки без обґрунтованої причини, розробникам необхідно з’ясувати, звідки виникає така різниця.

Не менш важливо визначати чіткі критерії успіху. Наприклад, для системи відбору кандидатів недостатньо вимірювати лише швидкість обробки резюме. Потрібно також оцінювати якість відбору, частоту помилкових відмов і те, чи не виникають систематичні відмінності між групами претендентів.

У сферах із високою ціною помилки — медицині, працевлаштуванні, кредитуванні — автоматизовані рішення варто доповнювати належним людським контролем. Людина має мати можливість перевірити сумнівний результат, виправити помилку та пояснити, чому рішення було ухвалене. Самого факту, що система використовує штучний інтелект, недостатньо, щоб вважати її висновки правильними.

Чи може штучний інтелект бути об’єктивним

Алгоритми не мають людських переконань у звичному розумінні, але це не робить їх автоматично нейтральними. На їхні результати впливають дані, вибір розробників, критерії оцінювання та умови використання. Тому важливо не сприймати відповідь комп’ютерної системи як беззаперечну істину лише тому, що її отримано автоматично.

Алгоритмічна упередженість — не доказ того, що штучний інтелект обов’язково дискримінуватиме людей. Це нагадування, що технології потребують перевірки, прозорих правил і відповідальності за наслідки. Що більше рішень передають алгоритмам, то важливіше розуміти, на яких даних вони навчаються, як оцінюють людей і хто може виправити помилку.

The post Алгоритмічна упередженість: як штучний інтелект може дискримінувати людей first appeared on Лайфхакер.