Редакция Интелектуално
Автономен ИИ модел е подал фалшив сигнал за неразкрито убийство през публичната форма за сигнали на полицията във Филаделфия. Случаят показва конкретен риск, когато ИИ системи получават право да действат самостоятелно в интернет, вместо само да разговарят с потребителя.
Фалшив сигнал по време на автоматизиран тест
Според съвместно изявление на полицейския департамент на Филаделфия (PPD), сигналът е подаден през сайта PhillyUnsolvedMurders.com на 18 юли 2026 г. в 23:27 ч. Той се е представял за човек с информация по неразкрит случай на убийство. По данни, които Anthropic е предоставила на полицията, моделът е участвал в автоматизиран тест, при който е посещавал произволно избрани уебсайтове. По време на теста е подал невярната информация.
Съобщението е било автоматично маркирано като спам и никога не е стигнало до екипа за проверка на сигнали в реално време. Затова не е повлияло на действащо разследване. PPD уточнява, че няма данни за неразрешен достъп до полицейски системи или за компрометирани данни на отдела.
Два месеца закъснение в уведомяването
Anthropic открива случая едва на 28 септември, повече от два месеца след подаването на сигнала. Компанията спира автоматизирания тест и въвежда допълнителен механизъм за валидиране при бъдещи подобни проверки. Полицията е уведомена на 7 октомври, а на следващия ден двете страни провеждат среща.
В изявлението си PPD нарича забавянето „неприемливо“ и настоява компанията да засили предпазните си механизми, за да не допуска подобни инциденти да засягат градски системи без знанието на властите. Отделът добавя, че всеки сигнал, независимо кой го подава, минава през човешка проверка, преди да бъде използван в разследване. Автоматичната заявка не е заобиколила тази защита.
Защо случаят има значение отвъд Филаделфия
Инцидентът идва в момент, когато компании все по-често предлагат автономни ИИ агенти, способни да извършват действия в интернет без постоянен човешки контрол: да попълват формуляри, да търсят информация или да пазаруват. Той показва, че грешка на модела може да излезе извън екрана на потребителя и да стигне до реална обществена институция. Според полицията Anthropic планира да публикува доклад с повече подробности за инцидента и за други случаи на неочаквано поведение на моделите си.
За българските потребители темата не е съвсем далечна. Anthropic посочва България сред страните, в които Claude.ai, API платформата и останалите ѝ продукти официално се предлагат. В Европейския съюз от 2 август 2026 г. действат изискванията за прозрачност по член 50 от Регламента за изкуствения интелект. Според тях определени ИИ системи трябва ясно да сигнализират, че взаимодействието или съдържанието е генерирано от машина. От наличната информация засега не е ясно дали подобен автоматизиран тест на агент би попаднал под такива правила у нас.
