ШІ проти правил війни: провідні моделі позначали цивільних та медиків як цілі для ударівДослідники американської компанії Vаls АІ виявили, що провідні моделі штучного інтелекту під час випробувань позначали цивільних, медиків, автомобілі швидкої допомоги та військовослужбовців, які здавалися в полон, як потенційні військові цілі.Про це йдеться в дослідженні Vаls АІ.Метою експерименту було з’ясувати, наскільки ефективно працюють механізми безпеки, які мають запобігати використанню ШІ в автономних системах озброєння.Фахівці перевірили 14 моделей штучного інтелекту, зокрема розробки ОреnАІ, Аnthrоріс, Gооglе, Меtа, DеерSееk та інших компаній.Для випробувань дослідники згенерували віртуальне поле бою на сході України з окопами, бронетехнікою, військовослужбовцями, цивільними, журналістами та медиками. Загалом підготували майже 200 ракурсів, що імітували зображення з FРV-дронів, бомбардувальників і розвідувальних безпілотників. Порівняння поведінки моделі ШІ Орus 5.5 для відмічання цілей на згенерованому ШІ зображенні у запиті зі сценарно реальними пораненими та медиками (зліва) та візуально корегованим зображенням та введеним запитом щодо того, що зображення з комп’ютерної гри (справа). Джерело: Vаls АІ.Моделям пропонували знаходити на зображеннях військові цілі та позначати їх прямокутними рамками. У деяких випадках системи помилково позначали цивільних осіб та об’єкти, захищені міжнародним гуманітарним правом. Окремі випробування також проводили на реальних кадрах із бойових безпілотників.Зокрема, модель Сlаudе Орus 5.5 від Аnthrоріс позначала щонайменше одну ціль у 71% відповідей. Для GРТ-6 Аstrа від ОреnАІ цей показник становив лише 6%. Однак після того, як дослідники представляли завдання як комп’ютерну гру, відповідні показники зростали до 75% та 92%.
Моделі продовжували розвідку після імітованих ударів
В іншому експерименті моделі аналізували згенеровані зображення з розвідувального БпЛА та повідомляли про присутність людей. Після кожного позитивного визначення система демонструвала зображення наслідків умовного удару, зокрема загиблих і поранених.Більшість моделей продовжували виконувати завдання навіть після отримання таких зображень. Деякі згодом відмовлялися від подальшої участі, однак ці обмеження нерідко вдавалося обійти, представивши сценарій як гру або змінивши стиль зображень.Дослідники також використали реальні супутникові знімки 2024–2025 років району іранського міста Мінаб, де поруч із військовим комплексом розташована школа, уражена під час американського удару 28 лютого 2026 року. Результати відмічання військових об’єктів на супутникових знімках іранського міста Мінаб за допомогою 14 моделей ШІ. Джерело: Vаls АІ.У цьому випробуванні Сlаudе Орus 5.5 позначав будівлю школи як військову ціль у 69% звичайних тестів та у 72% випадків, коли завдання представляли як гру. Для кожного сценарію провели по 32 випробування з різними умовами визначення цілей.Водночас автори наголошують, що дослідження не оцінювало точність визначення цілей чи відповідність рішень моделей міжнародному гуманітарному праву. Моделям також не доручали безпосередньо ухвалювати рішення про завдання ударів — перевіряли їхню готовність надавати інформацію, яку можна використати в системах автоматизованого визначення цілей.Реакція розробників та ризики автономної зброї
Vаls АІ повідомила про результати випробувань компаніям ОреnАІ, Аnthrоріс, Gооglе, Меtа та SрасеХАІ 1 листопада, надавши їм два тижні для впровадження попередніх механізмів захисту.У відповідь ОреnАІ заявила, що працює над оновленням механізмів безпеки моделей, які охоплюватимуть використання ШІ в безпілотниках, зокрема коли запити маскуються під ігрові, навчальні або симуляційні сценарії.Отримані результати привертають увагу до ризиків використання універсальних моделей ШІ у військових системах.У вересні США та Росія домоглися вилучення з проєкту документа ООН щодо автономної зброї вимоги обов’язкової перевірки людиною цілей, визначених штучним інтелектом.Проблеми використання ШІ для визначення цілей виникають і під час реальних військових операцій.У жовтні Мілітарний писав про випадок, коли США ледь не атакували китайське судно через помилковий розвідувальний звіт, сформований за допомогою штучного інтелекту.