Evaluácia LLM znamená zmerať, či vaša AI odpovedá správne, a merať to pri každej zmene promptu alebo modelu. Zostavím testovaciu sadu, automatické meranie a sledovanie kvality a nákladov v prevádzke, aj pre AI, ktorú postavil niekto iný.

Bez testovacej sady je každá zmena promptu len pocit. S ňou je to číslo.

Pre koho to je

  • Firmy, ktoré už AI používajú, ale nevedia, ako dobre funguje
  • Tímy, ktorým sa po zmene modelu alebo promptu niečo potichu pokazilo
  • Firmy, ktoré musia kvalitu AI doložiť vedeniu alebo audítorovi

Ako to funguje

  1. Zozbieram reálne otázky a prípady a so správnymi odpoveďami z nich zostavím testovaciu sadu.
  2. Nastavím metriky: presnosť, citácie, odmietnutia, rýchlosť a cenu.
  3. Zapojím meranie do vývoja, aby sa spustilo pri každej zmene.
  4. Nastavím sledovanie v prevádzke a mesačný report.

Čo dostanete

Testovacia sada

Reálne otázky a prípady so správnymi odpoveďami, ktoré vám ostanú.

Metriky

Presnosť, citácie, odmietnutia, rýchlosť a cena za odpoveď.

Brána pri zmene

Zmena promptu alebo modelu, ktorá zhorší čísla, neprejde.

Test zneužitia

Pokusy o podstrčené pokyny a únik údajov, merané rovnako ako kvalita.

Monitoring v prevádzke

Kvalita a náklady v čase a upozornenie, keď klesnú.

Z praxe

Construction Graph RAG má 128 otázok so zlatou odpoveďou a bránu na metriky v CI. Vďaka nej som videl, že knowledge graph presnosť zhoršil (MRR 76,1 → 54,8), a úspešnosť prompt injection klesla zo 16,7 na 0 %. ClaimPilot sa meria na 40 vývojových a 20 testovacích udalostiach.

Čo sa vo firme zmení

O zmene modelu alebo promptu rozhoduje číslo, nie dojem. Problém uvidíte v reporte skôr, než ho nahlási zákazník.

Technológie a bezpečnosť dát

Testovacia sada môže obsahovať anonymizované dáta. Meranie beží u vás alebo v regióne EÚ.

Cena

900–2 160 €, 1–3 týždne. Priebežný monitoring od 190 € mesačne. Cenník

Časté otázky

Čo je evaluácia LLM?

Meranie kvality jazykového modelu na sade otázok so správnymi odpoveďami. Ukáže presnosť, citácie, odmietnutia a cenu, a to pri každej zmene rovnako.

Viete zmerať AI, ktorú postavil niekto iný?

Áno. Stačí mi prístup k jej vstupom a výstupom, kód meniť nemusím.

Koľko otázok treba?

Na začiatok 50 až 150 reálnych otázok. Construction Graph RAG mal 128.

Koľko to stojí?

900–2 160 € za testovaciu sadu a meranie, 1–3 týždne. Monitoring v prevádzke od 190 € mesačne.

Súvisiace