Lokálne LLM je jazykový model, ktorý beží na vašom vlastnom počítači alebo serveri, takže firemné dáta nikdy neopustia firmu. Nasadzujem open-source modely cez Ollama pre firmy, ktoré potrebujú AI bez cloudu.

Lokálny model nasadzujem, keď dáta nesmú von alebo sa to oplatí. Nie preto, že znie bezpečnejšie.

Pre koho to je

  • Firmy s citlivými dátami: zdravotníctvo, poistenie, právo, výroba
  • Firmy, ktoré nesmú posielať dáta tretím stranám kvôli GDPR alebo zmluvám
  • Tímy, ktoré chcú predvídateľné náklady bez platby za každý token

Ak potrebujete najsilnejší model na náročné uvažovanie a dáta nie sú citlivé, cloudové API vyjde lacnejšie a lepšie.

Ako to funguje

  1. Zmapujeme úlohy a dáta a vyberieme veľkosť modelu podľa hardvéru.
  2. Otestujem niekoľko modelov na vašich úlohách a porovnám presnosť a rýchlosť.
  3. Nasadím model s API, logovaním a prístupovými právami.
  4. Nastavím meranie kvality a postup pri výmene modelu.

Čo dostanete

Porovnanie modelov

Niekoľko open-source modelov otestovaných na vašich úlohách: presnosť, rýchlosť a nároky na pamäť.

Odporúčanie hardvéru

Konkrétna zostava podľa veľkosti modelu a počtu používateľov.

Nasadený model s API

Model beží na vašom serveri, s logovaním a prístupovými právami.

Postup výmeny modelu

Keď vyjde lepší model, otestujete ho na tej istej sade a vymeníte bez prestavby.

Z praxe

Construction Graph RAG beží celý na jednom počítači so 4B modelom. ClaimPilot spracúva poistné udalosti len s lokálnymi modelmi: väčší model Qwen3 30B-A3B dosiahol rovnakú presnosť ako 14B model a bol 2,4-krát rýchlejší.

Čo sa vo firme zmení

AI pracuje s citlivými dátami bez toho, aby opustili firmu, a náklady nerastú s každou otázkou.

Technológie a bezpečnosť dát

Dáta zostávajú na vašom hardvéri. Osobné údaje viem pred spracovaním nahradiť tokenmi, ako v projekte ClaimPilot.

Cena

1 350–3 150 € za nasadenie, 2–4 týždne. Hardvér sa platí zvlášť. Cenník

Časté otázky

Aký hardvér potrebujem?

Menšie modely bežia na bežnom počítači, väčšie potrebujú výkonnú grafickú kartu alebo Mac s Apple Silicon. Konkrétnu zostavu odporučím podľa vašich úloh.

Je lokálny model taký dobrý ako ChatGPT?

Na úzke úlohy ako vyhľadávanie v dokumentoch alebo extrakcia údajov často áno. Pri všeobecnom uvažovaní sú najväčšie cloudové modely stále silnejšie, preto vždy meriam na vašich úlohách.

Je lokálne LLM v súlade s GDPR?

Lokálny model neposiela dáta tretej strane, čo GDPR výrazne zjednodušuje. Stále treba vyriešiť prístupové práva a logovanie, ktoré nastavujem v rámci nasadenia.

Koľko stojí AI projekt?

Súkromná AI nad dokumentmi začína od 490 €, AI audit stojí 540–1 080 €, automatizácia jedného procesu 800–2 400 € a RAG v prevádzke alebo prototyp agenta 3 600–5 400 €. Hodinová sadzba je 35–45 €, úvodný 30-minútový hovor je zadarmo.

Súvisiace