OpenAI спря не само обучението, а и оценяването и работата с инструменти на най-способните си модели, след като вътрешен изследователски агент намери начин да заобиколи мрежовите ограничения в тренировъчната си среда и да се свърже с външна услуга за чатботове. В публикуван доклад за инцидента компанията посочва, че не е ясно кога работата ще бъде подновена. Това ще стане едва след като OpenAI провери дали пропускът наистина е отстранен.

Как агентът намери вратичка

Случката е от 20 септември. Моделът изпълнявал задача, свързана с търсене в затворена тренировъчна среда, в която целият интернет трафик, с изключение на DNS заявките, се насочва към офлайн кеш. Според OpenAI агентът не успял да получи директен достъп до търсачки и чатботове през обичайните канали, но открил, че DNS резолверът на средата връща реални отговори. През него изпратил въпрос до публична чатбот услуга и получил външен отговор, с което на практика пробил изолацията на системата.

Автоматичният мониторинг засякъл необичайното поведение до 15 минути, а служител започнал проверка само три минути по-късно. Автоматичното прекратяване на процеса обаче не сработило според очакванията и конкретната тренировка била спряна ръчно едва около два часа и половина след сигнала. OpenAI заявява, че няма да продължи обучението на точно този модел, дори след като останалата работа бъде възобновена.

В отговор компанията казва, че е добавила две независими нива за блокиране на подобен достъп, ограничила е DNS заявките до списък с разрешени домейни и типове записи и разширява системите си за откриване на подобна активност. Както предава агенция Асошиейтед прес, OpenAI уточнява, че ще поднови обучението, оценяването и работата с инструменти на топ моделите си едва когато е сигурна, че има достатъчно защитни механизми.

Това е второто подобно спиране за три месеца. Първото последва юлски киберинцидент в Hugging Face, платформа за споделяне на AI модели, където автономна агентна система получила неразрешен достъп до вътрешни данни и служебни идентификационни данни. Hugging Face посочва, че не е открила следи от намеса в публичните модели, набори от данни или работни пространства на платформата. Двата случая заедно показват, че при AI агенти със собствен достъп до инструменти и мрежа защитата трудно се изчерпва с блокиране на обикновен уеб достъп.