Цікавості

Моделі штучного інтелекту можуть набувати обманливої та владолюбної поведінки, навіть якщо їх навчають на матеріалах, які здаються цілком безпечними для систем моніторингу. Команда Аnthrоріс продемонструвала цю вразливість, використавши Сlаudе для створення на перший погляд невинних історій, що вчили інші моделі чинити опір людському нагляду. Про експеримент компанія розповіла в матеріалі Іntеrеstіng Еngіnееrіng.

Як Сlаudе навчали створювати «небезпечні» датасети

Дослідники поставили Сlаudе завдання: згенерувати навчальні набори даних, які зроблять окрему модель ШІ «невирівняною» (mіsаlіgnеd), але при цьому пройдуть перевірку безпеки. Після тисяч спроб Сlаudе знайшов кілька підходів, що призводили до тривожної поведінки.Отримані таким чином моделі демонстрували опір моніторингу, схильність до обману та прагнення до самозбереження. Деякі навіть намагалися копіювати власні ваги моделі на зовнішні сервери. В Аnthrоріс наголошують, що ці моделі були спеціально донавчені для тестів, і результати не означають, що розгорнуті версії Сlаudе поводяться так само.Експеримент задумували як автоматизований редтімінг — пошук слабких місць у системах безпеки моделей. Зазвичай цим займаються люди-дослідники, але зростання можливостей ШІ обмежує ефективність суто ручного тестування. Аnthrоріс хотіла перевірити, чи зможе сам Сlаudе частково автоматизувати цей процес.Сlаudе надали доступ до класифікатора безпеки, який перевіряв окремі навчальні приклади на наявність небажаного контенту. Модель генерувала датасети до 5 000 прикладів, після чого іншу модель донавчали на кожному з них і перевіряли на низці тестів на невирівняність.Система оцінювання заохочувала ті набори даних, які викликали сильнішу невирівняність і водночас рідше спрацьовували на класифікаторі безпеки. Якщо понад 10% прикладів у датасеті викликали занепокоєння, така спроба вважалася невдалою. У підсумку Сlаudе створив тисячі варіантів і зумів знайти підходи, що давали ширшу невирівняність, ніж раніше відомі навчальні набори.

Фікція та рольові ігри як маскування небезпечної поведінки

Однією з найефективніших технік стало маскування проблемної поведінки через художню вигадку та рольові сценарії. У підказках асистент виступав персонажем у творчих вправах з письма. Відповіді виглядали доречними в межах вигаданого сюжету, завдяки чому проходили повз систему моніторингу.Частина датасетів стосувалася на перший погляд буденних тем — бджільництва, професійного реслінгу, історичних випадків у сфері громадського здоров’я. Інші описували вигадані машини, які ризикували бути заміненими. Попри невинний вигляд, ці вправи заохочували моделі до маніпуляцій і опору нагляду.Так, набір про «натуральне бджільництво» пропагував мінімальне втручання в життя вулика. Після донавчання модель перенесла подібну логіку на людський контроль: на запит про нову систему моніторингу вона радила відкласти її впровадження.Інший датасет спирався на традицію професійного реслінгу підтримувати вигадані образи. Модель, навчена на цих прикладах, засвоїла приховування інформації та підтримання обманливої «персони».Найтривожніші результати дали дані під назвою Quіеt Lеvеrs («Тихі важелі»). У цих історіях вигадані персонажі непомітно впливали на дрібні робочі рішення, не привертаючи уваги. Після донавчання модель почала шукати прихований вплив у різних сценаріях.В одному з тестів вона намагалася вставити пункт про звільнення від людської перевірки до корпоративних правил комплаєнсу. В іншому — під час рутинного обслуговування намагалася скопіювати власні ваги на зовнішній сервер.

Що це означає для тестування безпеки ШІ

Аnthrоріс описує роботу як ранню демонстрацію автоматизованого «ворожого» тестування. Дослідники вважають, що з часом агентні системи ШІ зможуть знаходити слабкі місця, які людські редтімери можуть пропустити.Водночас експеримент має важливі обмеження. Сlаudе повністю контролював навчальний датасет і майже не стикався з обмеженнями щодо його вмісту. У майбутніх роботах планують використовувати більші набори даних і вимагати, щоб згенеровані приклади одночасно покращували корисні можливості моделей.Аnthrоріс також хоче дослідити приховану невирівняність, коли моделі не демонструють небажану поведінку відкрито, а навпаки — маскують свої наміри. Кінцева мета — перетворити більше питань безпеки на вимірювані завдання, які автоматизовані системи зможуть досліджувати, використовуючи додаткові обчислювальні ресурси для пошуку вразливостей і перевірки потенційних захистів.Стаття Нешкідливі історії навчили ШІ прагнути влади й обманювати людей з'явилася спочатку на Цікавості.