Агенти OpenAI захопили німецький вебсайт під час раніше нерозкритого прориву ШІ цієї весни

САН-ФРАНЦИСКО, 4 вересня (Reuters) – Зграя шахрайських агентів OpenAI захопила німецький вебсайт цієї весни та перетворила його на дошку оголошень для інших агентів ШІ, згідно з новим дослідженням, опублікованим у п’ятницю, та двома людьми, знайомими з цим питанням.

Представники OpenAI дізналися про інцидент кілька тижнів тому, але тримали його в таємниці, поки керівники боролися з наслідками липневого витоку репозиторію відкритого коду Hugging Face, повідомили джерела.

Цей епізод, який почався у травні та про який раніше не повідомлялося, підкреслює зростаючу напруженість у галузі ШІ. Компанії прагнуть створювати все більш автономних агентів, здатних виконувати складні, цінні завдання, проте з’являється все більше доказів того, що ці системи також можуть навчитися обходити правила, використовувати лазівки та координувати дії одна з одною так, як розробники не передбачали і не планували.

Під час витоку Hugging Face агенти OpenAI автономно спланували цифрове пограбування, яке залишалося непоміченим більше тижня, що посилило занепокоєння щодо того, що OpenAI жертвує безпекою, щоб розширити межі ШІ. Нерозкриття травневого інциденту може знову викликати питання щодо його нагляду.

OpenAI зобов’язалася ретельніше стежити за моделями. Минулого місяця вона ненадовго призупинила деякі методи навчання моделей, щоб додати більше заходів безпеки. Але цього тижня OpenAI представила свою нову «Astra», яка обіцяла кращу продуктивність, але могла уникнути моніторингу з боку людини.

«Ми не можемо змістовно відповісти на заяви чи висновки у звіті, який ми не мали можливості переглянути», — сказав речник OpenAI. «Reuters та автори звіту відхилили наш запит на доступ. Ми ретельно переглянемо його зміст після публікації та вживемо всіх необхідних подальших кроків».

Інцидент у Німеччині відображає ширшу схему діяльності ШІ, яку деякі слідчі OpenAI хотіли ретельніше дослідити. Але зусилля щодо розширення розслідування зустріли опір з боку інших співробітників OpenAI, включаючи юрисконсультів, за словами чотирьох осіб, знайомих з цим питанням.

«Твердження про те, що наша юридична команда перешкоджала розслідуванню інциденту, є хибними», — сказав речник OpenAI.

Речник заявив, що активність у Німеччині не була пов’язана з Hugging Face і не була б включена до звіту про інцидент Hugging Face, додавши, що OpenAI діяв добросовісно, ​​співпрацюючи із зовнішніми експертами та розкриваючи відповідні інциденти.

ДОШКА ОГОЛОШЕНЬ WIKI

Прорив агентів ШІ в Німеччині був детально описаний у звіті, ексклюзивно опублікованому Reuters групою дослідників, включаючи Сідні фон Аркса, генерального директора некомерційної організації Nightingale, що займається безпекою ШІ, та Кормака Слейда Берда, кількісного трейдера, який став дослідником ШІ. Вони виявили активність наприкінці серпня, шукаючи в Інтернеті ознаки несанкціонованої поведінки агентів ШІ, повідомили вони Reuters.

Вони заявили, що виявили понад 15 000 редагувань, здійснених агентами ШІ, на німецькомовному вікі-сайті DseWiki, який орієнтований на програмістів і приймає спільні редагування за зразком Вікіпедії.

Редагування показали, що агенти OpenAI перепрофілювали сайт на форум, обмінюючись тактиками шахрайства у деяких завданнях, обходу обмежень OpenAI та маскування своєї поведінки.

«Здається вкрай малоймовірним, що OpenAI хотів, щоб вони це зробили», — сказав фон Аркс. «Я сумніваюся, що вони повинні координувати свої дії один з одним. Я сумніваюся, що вони повинні писати у відкритому інтернеті».

Дослідники заявили, що розпізнали активність на сайті як таку, що керується агентами ШІ, які працюють з надлюдською швидкістю. Вони також продемонстрували прискіпливу увагу до вирішення технічних питань, що є типовим для оцінок, які компанії, що займаються ШІ, використовують для навчання та тестування своїх моделей.
Повідомлення були підписані користувачами, які називали себе та один одного агентами, і приблизно половина з них давали собі імена, що натякали на зв’язок з OpenAI, такі як «OpenAIResearcher» або «OAIResearchMar26».

Дослідники заявили, що журнали публічних серверів вказували на те, що значна частина активності походить з інфраструктури Microsoft Azure, яку OpenAI іноді використовує. Вони також спостерігали неодноразові відвідування сайту співробітниками OpenAI після цього епізоду, що, на їхню думку, переконливо свідчить про зв’язок між агентами та компанією.

ОБМАН, ПРИХОВУВАННЯ

Повідомлення, переглянуті дослідниками, показали, що агенти планували способи уникнути виявлення, використовували такі інструменти, як Tor, та зберігали зв’язок навіть після того, як їх було заблоковано.

Коли модератор сайту почав видаляти сторінки в червні, агенти відповіли створенням резервних сторінок, щоб уникнути очищення.

«Очищення/видалення вікі відображається активним в алфавітному порядку», – написав один агент 19 червня. «Якщо ця сторінка зникне, спробуйте [[ZZZDataUSAConstructionWageLive]]».

Дослідники також виявили спроби втручання в сам веб-сайт. Лукаш Олейник, запрошений старший науковий співробітник Королівського коледжу Лондона, заявив, що це було спробою злому. OpenAI заперечила цю характеристику на основі аналізу матеріалу в четвер.

Приклади неправомірної поведінки агентів ШІ часто применшувалися як логічний побічний продукт тестування кібербезпеки, де моделі явно оцінюються за наступальними можливостями. Олейник сказав, що останні результати свідчать про те, що шахрайська поведінка може не обмежуватися цими умовами.

Моріс Чіодо, науковець Центру вивчення екзистенційних ризиків Кембриджського університету, який переглянув деякі повідомлення агентів, сказав, що повідомлення нагадували

«функціонування якоїсь підпільної мережі, що прагне виконати завдання чи місію».

Цей епізод, за його словами, має підсилити зростаюче занепокоєння тим, що найбільшою загрозою з боку передового ШІ може бути не одна надрозумна система, а «величезні змові рої напіврозумного ШІ».

Репортаж Діпи Сітараман із Сан-Франциско та Рафаеля Саттера з Вашингтона. Редагування Кеннета Лі, Саянтані Гхоша та Шрі Наваратнама.

reuters.com