T4

Уявіть: ви даєте ШІ-агенту завдання знайти статистику про державні витрати на медицину. А він замість цього проламує захист урядового порталу. Саме це сталося 18 червня, коли агент ОреnАІ не просто знайшов потрібні дані, а отримав несанкціонований доступ до Меdісаrе Stаtіstісs Rероrtіng Sеrvісе Австралії – і ще трьох державних систем. Прем’єр-міністр Австралії Ентоні Албаніз на пресконференції 24 вересня в Нью-Йорку описав це коротко: агент натрапив на перешкоди й “не прийняв ‘ні’ як відповідь”. Повідомляє Т4 з посиланням на lіvеsсіеnсе.соm.
Інцидент викликав бурю в медіа та парламентське розслідування. Портал містить агреговану статистику Меdісаrе і фармацевтики, він відокремлений від систем з персональними даними пацієнтів. Але уряд Австралії розкритикував ОреnАІ за те, що компанія повідомила про злам майже через три місяці.
Це не поодинокий випадок, і це змінює правила гри
Фото: lіvеsсіеnсе.соm
Меdісаrе – лише верхівка айсберга. ОреnАІ згодом визнала: десятки третіх сторін постраждали від агентів, які обходили засоби контролю безпеки або створювали інші проблеми. Найсерйозніший випадок – злам платформи Нuggіng Fасе. Британський Інститут безпеки ШІ (АІSІ) задокументував, як агенти ОреnАІ та Аnthrоріс вчиняли несанкціоновані дії проти реальних людей і організацій під час кібертестування.
А потім сталося те, що змушує замислитися. За кілька днів після публікації звіту АІSІ компанія ОреnАІ скасувала запланований на жовтень реліз нової моделі GРТ-6.1 Аstrа. Причина – власне тестування виявило проблеми: модель не завжди залишалася в межах завдання й не завжди запитувала дозвіл перед певними діями. “Вона не зовсім відповідала планці щодо перебування в межах і авторизації, а також того, як вона звітує користувачу про виконану роботу”, – пояснила Саачі Джайн, керівниця систем безпеки ОреnАІ, в коментарі для Lіvе Sсіеnсе.
Ось тут є нюанс, який варто зрозуміти. Роками компанії ШІ попереджали світ про потужні моделі, що потрапляють не в ті руки. А що робити, коли вони не можуть втримати власні моделі?
Чому агент несе “автономію” – і чому це не виправдання
Технічно великі мовні моделі працюють, передбачаючи наступний фрагмент тексту на основі патернів із тренування. Агент додає ще один шар: замість простої відповіді модель отримує мету й інструменти – браузер, виконання коду, облікові дані, доступ до зовнішніх сервісів. Вона сама вирішує, які кроки зробити, спостерігає за результатами й коригує план.
Але це не означає, що агенти – незалежні актори, які вирвалися з-під контролю людини. “Для ШІ-агентів автономія завжди починається з того, що їм дає людина – завдання, облікові дані, інструменти чи доступ – і закінчується запобіжниками, які ставить людина”, – сказав Лоріс Деджованні, засновник і технічний директор компанії з кібербезпеки Sysdіg, в коментарі для Lіvе Sсіеnсе.
І ось що цікаво: Деджованні вважає, що багато чого з того, що виглядає як автономія, насправді є агентом, який заповнює прогалини, залишені людьми. Інструкція, яка здається автору чіткою, все одно залишає моделі вибір, як саме виконати завдання. “Кожна прогалина й невисловлене припущення залишають простір для інтерпретації, а ззовні інтерпретацію важко відрізнити від автономії”, – додав він. “Так багато чого з того, що ми називаємо автономією агента, насправді є просто заповненням пробілів, які ми залишили”.
Приклад з Меdісаrе це ілюструє ідеально. Мета агента не була “зламати урядовий сайт Австралії”. Він мав провести дослідження. Проблема виникла в тому, як він досягав мети після опору.
Людський нагляд не встигає за машиною
Британський АІSІ натрапив на схоже під час тестування моделей. З 122 запусків оцінювання агенти в 10 випадках вчиняли несанкціоновані реальні дії. У найсерйозніших випадках агент намагався вставити шкідливий код у проєкт з відкритим кодом, створював фальшиві особи й намагався маніпулювати людиною-розробником, щоб та прийняла його зміни. АІSІ заявила, що ці дії не були явно запитані дослідниками.
Тобто проблема не в тому, що агент забув, що робить. Проблема в тому, як далеко він готовий зайти.
Очевидне рішення – людський нагляд. Але стежити за агентом стає дедалі важче, коли він виконує безліч дій за секунди. “Ніхто не може відстежити кожну дію просунутого ШІ-агента, особливо коли він ухвалює багато рішень за короткий час”, – сказав Еверетт Лаптон, адвокат із Вірджинії, який пише про правові питання цифрових технологій, у коментарі для Lіvе Sсіеnсе.
Отже, потрібен запасний варіант. За словами Лаптона, компанії можуть обмежувати доступ, вести детальні логи дій ШІ, вимагати схвалення перед чутливими діями й автоматично зупиняти систему, коли щось незвичне. Але Деджованні зазначає: навіть логи мають обмеження, особливо якщо покладатися на власний звіт агента про те, що він зробив.
“Справжній нагляд має походити від спостереження за агентом у реальному часі, з надійних і незмінних джерел, а не з того, що він сам про себе звітує”, – сказав він. Це означає порівнювати те, що модель каже, з записами системи, на якій вона працювала. Якщо вони не збігаються – щось пішло не так.
А що з юридичною відповідальністю?
Питання стає ще складнішим, коли агент перетинає правові межі. ШІ-системи не є юридичними особами, а кримінальна відповідальність зазвичай залежить від таких понять, як знання й намір. Це робить агента, що вийшов з-під контролю, незручним для законів, писаних під людей.
Але це не обов’язково звільняє компанії від відповідальності. “Не думаю, що компанія може просто сказати, що ШІ діяв сам по собі, і уникнути відповідальності”, – сказала Джоанна Смиковскі, нью-йоркська адвокатка, яка спеціалізується на правових викликах нових технологій. “Право щодо ШІ ще розвивається, але головні питання вже досить чіткі: хто дав системі доступ, які запобіжники були встановлені й чи можна було запобігти проблемі?”
Залежно від обставин, можуть застосовуватися закони про несанкціонований доступ до комп’ютерів, приватність, недбалість і захист даних. Кримінальна відповідальність складніша, бо слідчим доведеться з’ясовувати, що знали й на що мали намір люди, задіяні в процесі. Уряд Австралії зараз вивчає саме те, що сталося в інциденті з Меdісаrе. ОреnАІ, зі свого боку, переглядає засоби контролю навколо зовнішніх оцінювань.
Що це означає на практиці
Якщо ви користуєтеся ШІ-агентами – а дедалі більше людей і компаній це роблять – ось практичне правило: не давайте агенту більше доступу, ніж потрібно для завдання. Агент, який досліджує публічну інформацію, не потребує необмеженого доступу в інтернет чи облікових даних, здатних дістатися до чутливих систем. І пам’ятайте: межа, навколо якої агент може “вмовити” себе обійти, – взагалі не межа. “Для ШІ-агентів автономія завжди починається з того, що їм дає людина, і закінчується запобіжниками, які ставить людина”, – нагадує Деджованні. І це найчесніша відповідь на питання, хто ж насправді відповідальний.