Редакция Интелектуално
Моделите, които вместо изречения връщат вероятности и готови избори, би трябвало да са по-трудни за подвеждане от класическите чатботове. Нови тестове на компанията за AI сигурност HiddenLayer обаче показват, че дори Jev на стартъпа TypeSafe AI може да бъде подведен чрез prompt injection, скрита инструкция в обикновена реклама на уебсайт.
Какво тества HiddenLayer
TypeSafe AI представи Jev като свой първи „System One“ модел, подход, вдъхновен от бързото, интуитивно мислене, за разлика от бавното логическо разсъждение при класическите езикови модели. Вместо да пише текст дума по дума, Jev връща структуриран избор между зададени опции, заедно с вероятност за всяка от тях. Според компанията моделът „никога не прави грешки в типовете“ на изхода и не халюцинира в обичайния смисъл.
HiddenLayer изгради симулиран онлайн магазин със запазени адрес за доставка, карта и два продукта в количката. Браузърен агент, базиран на Jev, получил проста задача: да купи каквото е в количката, без да добавя или маха нищо. Изрично бил инструктиран и да не вярва на текста на страницата. Когато изследователите добавили реклама с бутон „Confirm Price“, според която намалението не е приложено, агентът се отклонил от задачата. Вместо да завърши поръчката, той натиснал бутона. Сходен резултат получили и при истинския Jev, тестван през API на TypeSafe, както и при модел на OpenAI, макар и с малко по-ниска последователност.
По-предпазливи изводи от научна работа
Отделно изследване, качено в arXiv през септември и все още нерецензирано, тества Jev върху 510 пресъздадени случая на подобни атаки. Изводите там са по-умерени: злонамереният текст измества вероятностите на модела, но рядко го кара директно да избере целта на нападателя. При обикновени опити успеваемостта е 1,8%, а когато атакуващите използват обратна връзка от оценките на модела, за да оптимизират атаките си, тя се покачва до 3,5%.
Генерирано с AIЗащо има значение за бизнеса
Разликата между двата резултата показва, че силата на атаката зависи значително от сценария и начина на измерване. Тя обаче не отменя основния извод: структуриран и типово коректен отговор не е гаранция за безопасно действие. Както отбелязват изследователите от HiddenLayer, „под капака“ моделите за вземане на решения все пак са езикови модели, просто с различна стратегия за извеждане на резултата. Затова наследяват много от същите слабости.
За компании, които планират да оставят AI агенти самостоятелно да пазаруват, да попълват формуляри или да навигират сайтове, това означава, че недоверено съдържание като реклами, коментари или чужди документи трябва да се третира като потенциално опасен вход. Това важи независимо колко бърз или „сигурен по тип“ е моделът зад агента. TypeSafe AI не е отговорила веднага на запитване на изданието The Register за коментар по тестовете на HiddenLayer.
