Редакция Интелектуално
OpenAI и Anthropic плащат на специализиран стартъп да проверява докъде могат да стигнат собствените им AI модели, ако попаднат в ръцете на злонамерени потребители. Компанията се казва Irregular, а до преди дни носеше името Pattern Labs. Тя поставя най-напредналите модели в симулирани хакерски сценарии, за да открие опасностите, преди те да стигнат до истинските потребители.
Симулирани хакерски атаки вместо обикновени чат тестове
Forbes съобщава, че OpenAI е наела Pattern Labs като външен изпълнител, който да подлага моделите ѝ на стрес тестове преди публичното им пускане. Целта е да се открият и отстранят уязвимости, които хакери биха могли да използват, за да откраднат потребителски данни или да причинят вреда с инструментите на компанията. Стартъпът работи по подобен начин с Anthropic от 2023 г., а според собствените изявления на Irregular нейни оценки са цитирани от OpenAI в документацията за моделите GPT o3, o4-mini и GPT-5.
Методът е познат като red teaming. Моделът се поставя в контролирана, симулирана среда и получава задача, каквато би имал истински нападател, например да открие и „открадне“ чувствителна информация от макетна корпоративна мрежа. Така изследователите виждат доколко системата би могла да се използва за злоупотреба и доколко издържа, когато самата тя е обект на атака. От Irregular посочват и съвместна работа с Anthropic по защита на моделите чрез т.нар. confidential inference. Компанията допълва, че изследователи от Google DeepMind са цитирали платформата ѝ в анализ на нововъзникващи възможности за кибератаки с AI.
Генерирано с AI80 милиона долара инвестиция, но не и разкрити суми по договорите
Преименуването от Pattern Labs на Irregular стана официално на 17 септември 2025 г. Според Forbes и самата компания тогава беше обявено и финансиране от 80 млн. долара в seed и Series A рундове, водени от инвестиционните фондове Sequoia и Redpoint, при оценка на стартъпа от 450 млн. долара. Важно е това число да се разграничи от сумите, които OpenAI и Anthropic плащат за самите проверки. Те не са оповестени публично.
Пред Forbes изпълнителният директор и съосновател Дан Лахав е казал, че компанията бързо е станала печеливша и е реализирала „няколко милиона долара“ приходи през първата си година, без да посочва по-конкретни финансови данни. Натискът върху подобни услуги расте, защото проблемът вече не е хипотетичен. Forbes цитира предупреждение на Anthropic, според което моделът Claude вече е бил използван в реални кибератаки за писане на злонамерен код и фишинг съобщения.
Какво иска Европейският съюз от най-мощните модели
В Европейския съюз темата има и конкретна регулаторна рамка. Регламентът за изкуствения интелект на ЕС, известен като AI Act, задължава доставчиците на модели с общо предназначение, които се смятат за носители на системен риск, да извършват и документират т.нар. adversarial testing, да оценяват и ограничават системните рискове, да докладват сериозни инциденти пред европейската AI служба и да осигуряват подходящо ниво на киберзащита за моделите и инфраструктурата им. Регламентът допуска подобни проверки да се правят и от независими външни екипи, какъвто е случаят с Irregular, но не задължава компаниите да наемат точно тази или друга конкретна фирма.
Публично известните резултати от тестовете на Irregular засега показват потенциал за злоупотреба в контролирани симулации, а не доказана способност на моделите да провеждат надеждни самостоятелни атаки в реалния свят. Именно затова подобни проверки се правят предварително, докато системите все още се развиват, а не след като вече са причинили вреда.
