AI infraštruktúra je vrstva, na ktorej stoja všetky AI funkcie vo firme: jeden prístup k cloudovým aj lokálnym modelom, kontrola nákladov, záznam každého volania a anonymizácia dát pred modelom. Staviam ju tak, aby výmena modelu bola nastavenie, nie prestavba.

Výber modelu má byť nastavenie, nie architektonický záväzok na roky.

Pre koho to je

  • Firmy s viacerými AI funkciami, kde každá volá model inak
  • Firmy, ktoré nevedia, koľko ich AI stojí a kto ju používa
  • Firmy, ktoré chcú kombinovať cloudové a lokálne modely

Ak máte jednu AI funkciu a jedného poskytovateľa, infraštruktúru zatiaľ nepotrebujete.

Ako to funguje

  1. Zmapujem, kde a ako dnes voláte modely, čo to stojí a aké dáta tam idú.
  2. Navrhnem jednu vrstvu pre prístup k modelom, záznamy a limity.
  3. Postavím ju a postupne na ňu prepojím existujúce funkcie.
  4. Nastavím prehľad nákladov a kvality a postup pri výmene modelu.

Čo dostanete

Jeden prístup k modelom

OpenAI, Anthropic aj lokálne modely cez Ollama za jedným rozhraním.

Kontrola nákladov

Limity a prehľad nákladov podľa funkcie a tímu.

Záznam volaní

Čo išlo do modelu, čo sa vrátilo a koľko to stálo.

Anonymizácia

Mená, rodné čísla a IBAN sa pred modelom nahradia tokenmi.

Fronty a spracovanie na pozadí

Dlhé úlohy bežia na pozadí a po výpadku pokračujú.

Z praxe

AGL Assistant beží ako NestJS worker na pozadí s PostgreSQL a Redis a spracúva poštu zo všetkých schránok. ClaimPilot pred každým volaním modelu nahradí osobné údaje tokenmi a beží celý na lokálnych modeloch, kde voľbu modelu rozhodlo meranie.

Čo sa vo firme zmení

Viete, koľko AI stojí a kto ju používa. Nový model vyskúšate a nasadíte bez prepisovania aplikácií.

Technológie a bezpečnosť dát

Dáta môžu ostať na vašom serveri, osobné údaje sa pred modelom anonymizujú a každé volanie sa zaznamenáva.

Cena

1 800–4 500 €, 2–6 týždňov. Cenník

Časté otázky

Čo je AI infraštruktúra?

Spoločná vrstva pre všetky AI funkcie: prístup k modelom, náklady, záznamy, anonymizácia a fronty. Funkcie nad ňou nemusia riešiť každá zvlášť, ktorý model a ako volajú.

Potrebujeme ju, keď máme jeden chatbot?

Zvyčajne nie. Oplatí sa, keď máte viac AI funkcií alebo chcete kombinovať cloudové a lokálne modely.

Viete použiť lokálne aj cloudové modely naraz?

Áno. Citlivé dáta môžu ísť na lokálny model a zvyšok cez API v regióne EÚ.

Koľko to stojí?

1 800–4 500 € podľa počtu napojených funkcií, 2–6 týždňov.

Súvisiace