Финтех компанията Revolut е направила самостоятелно хоствания китайски AI модел GLM основен инструмент за ежедневната работа на около 2000 инженери, вместо да разчита предимно на Claude Code на Anthropic и Codex на OpenAI. Според Дейвид Абитбол, който отговаря за операциите и AI инфраструктурата в компанията, така разходите ѝ за изчисления при генериране са паднали до около една десета от предишната сметка към двете американски лаборатории.

Защо строгите лимити за токени не вършеха работа

На конференцията AI Engineer в Ню Йорк на 13 октомври Абитбол разказа, че Revolut първо е тествала Gemini на Google, а после е въвела Claude Code със строги бюджети за токени за всеки инженер. Ранното внедряване на Claude Code излизало скъпо срещу сравнително скромна полза, а ограниченията карали инженерите да пазят AI само за най-трудните задачи по програмиране, обясни той.

Самостоятелното хостване на GLM премахва този проблем, защото таксата е фиксирана и не зависи от обема. Инженерите вече ползват AI и за по-рутинни задачи, за дебъгване, преглед на документация и работа с тикети в Jira и Confluence, а не само за писане на код, твърди Абитбол.

Сървърен рак с графични процесори, на които Revolut хоства AI модела сиГенерирано с AI
Сървърен рак с графични процесори, на които Revolut хоства AI модела си

Какво показват вътрешните данни на компанията

По думите на Абитбол Revolut работи с модела GLM 5.3 на около 56 графични процесора Nvidia B200 при средна цена от около 0,30 долара за 1 милион токена. При извадка от около 2000 инженери той отчете около 60% по-кратко време за програмиране и 70% по-кратко „lead time“, тоест времето от поемането на задача до обединяването на кода.

Самата компания признава, че сравнението не изолира ефекта от смяната на модела от други промени, включително премахването на лимитите за токени и техническото оптимизиране на инфраструктурата. Абитбол сподели и че първоначалните резултати са били слаби, докато екипът не е съкратил времето до първия токен от около 14 до под 2 секунди на същите графични процесори.

Claude и Codex остават за изключенията

GLM работи само с текст, затова задачите, свързани с изображения, се пренасочват към Gemini на Google. Claude Code и Codex остават достъпни за най-трудните случаи. Абитбол призна, че използването на китайски модел с отворени тегла в регулирана банка носи своеобразна „стигма“, но подчерта, че Revolut взема само отворените тегла и ги изпълнява на собствена инфраструктура в САЩ, а не през хостинг услугата на разработчика Z.ai.

Revolut е финтех компания, регулирана в ЕС, а европейският Закон за изкуствения интелект (AI Act) изисква от фирмите, които внедряват AI системи, да предприемат мерки за AI грамотност на служителите си. Според Европейската комисия националните регулатори започват надзор по това изискване от 2 август 2026 година. Изборът моделът да се хоства на собствена инфраструктура обаче не означава автоматично съответствие с този закон или с GDPR, а е по-скоро техническо решение за контрол над данните.