Na 195 posnetkih jasnega slovenskega govora je Transkripcija napačno prepisala 8,7 % besed. Whisper large-v3, odprtokodni model, na katerem temelji veliko brezplačnih orodij, jih je zgrešil 20,2 %, torej 2,3-krat več. Googlov Gemini je bil približno enako natančen: različica Flash 8,1 %, Pro 7,5 %. Test smo opravili 14. oktobra 2026 v sedmih jezikih, spodaj so vsi rezultati in natančen opis metode.
Kaj pomeni 8,7 % napačnih besed
Mera se imenuje WER (word error rate): delež besed, ki jih mora človek popraviti, izpustiti ali dodati, da se prepis ujema z izvirnikom. 8,7 % pomeni približno 9 popravkov na 100 besed. Nižja številka je boljša.
Pri slovenščini vsaka napačna končnica šteje kot cela napačna beseda: »odločitve« namesto »odločitvi« je ena napaka, čeprav je stavek še vedno razumljiv. Zato je WER za jezike s skloni praviloma višji kot za angleščino, tudi ko je prepis povsem uporaben.
Rezultati za slovenščino
| Orodje | Napačnih besed | 95-odstotni razpon |
|---|---|---|
| Transkripcija | 8,7 % | 6,6–11,3 % |
| Whisper large-v3 | 20,2 % | 18,1–22,7 % |
| Gemini Flash | 8,1 % | 5,5–11,2 % |
| Gemini Pro | 7,5 % | 5,4–10,2 % |
Razlika do Whisperja je velika in zanesljiva: v vseh 1.000 ponovnih vzorčenjih (glej metodo spodaj) je imel Whisper več napak. Razlika do Gemini Flash je znotraj negotovosti, zato ju štejemo za izenačena. Gemini Pro je bil pri slovenščini za približno eno odstotno točko boljši.
Slovenski posnetki so bili v testu najtežji za vsa orodja, ne le za nas. Številke zato primerjajte med orodji znotraj istega jezika, ne med jeziki.
Vseh sedem jezikov
Isti postopek in enako število posnetkov smo uporabili za vse jezike, ki jih pokrivajo naše strani. Delež napačnih besed, nižje je bolje:
| Jezik | Posnetkov | Transkripcija | Whisper large-v3 | Gemini Flash | Gemini Pro |
|---|---|---|---|---|---|
| slovenščina | 195 | 8,7 % | 20,2 % | 8,1 % | 7,5 % |
| hrvaščina | 199 | 5,5 % | 10,9 % | 5,6 % | 4,8 % |
| češčina | 192 | 4,3 % | 11,5 % | 3,4 % | 3,4 % |
| slovaščina | 200 | 2,8 % | 9,5 % | 3,2 % | 2,7 % |
| poljščina | 199 | 3,9 % | 4,9 % | 3,1 % | 2,5 % |
| romunščina | 200 | 3,1 % | 8,3 % | 3,9 % | 2,8 % |
| bolgarščina | 197 | 4,3 % | 12,1 % | 6,2 % | 4,6 % |
Povzetek: Transkripcija naredi 2- do 3-krat manj napak kot Whisper v šestih jezikih. Pri poljščini je razlika manjša (3,9 % proti 4,9 %). Z Gemini Flash smo izenačeni v slovenščini, hrvaščini in slovaščini, boljši v bolgarščini in romunščini, Flash pa je boljši v češčini in poljščini. Gemini Pro je za približno točko boljši v slovenščini, hrvaščini, češčini in poljščini, v ostalih jezikih smo izenačeni.
Česa ta test ne pove
- Posnetki so jasno bran govor. En govorec, mirna soba, stavki iz Wikipedije. Sestanki z več ljudmi, telefonski klici, hrup in narečje dajo več napak pri vseh orodjih. Koliko več, ta test ne meri.
- Številke štejejo kot napaka, če so zapisane drugače. »2026« in »dva tisoč šestindvajset« sta v testu različni besedi. To poviša rezultat vsem orodjem enako.
- Natančnost ni vse. Prepis z govorci, časovnimi oznakami in podnapisi SRT prihrani več dela kot odstotna točka manj napak, če morate besedilo potem še urejati.
Če hočete vedeti, kako se orodje odreže na vaših posnetkih, vzemite 2–3 minute tipičnega posnetka, ga prepišite in preštejte popravke. Pri Transkripciji je prva datoteka do 30 minut brezplačna.
Kako smo testirali
- Posnetki: testni del zbirke FLEURS (Google, licenca CC BY 4.0), v kateri materni govorci berejo stavke iz Wikipedije. Za vsak jezik smo s fiksno zgoščevalno funkcijo izbrali približno 200 posnetkov, skupaj 33–41 minut zvoka na jezik. Za slovenščino 195 posnetkov oziroma 34 minut.
- Transkripcija: z enakimi nastavitvami kot v aplikaciji, torej z modelom ElevenLabs Scribe v2, ki ga uporabljamo za prepoznavo govora.
- Whisper large-v3: OpenAI-jev odprtokodni model, zagnan s faster-whisper, beam 5.
- Gemini: prek Googlovega API-ja, različici gemini-3.8-flash in gemini-3.1-pro-preview.
- Točkovanje: vse z malimi črkami, brez ločil, nato delež napačnih besed čez vse posnetke skupaj. Razpon pomeni, kje je rezultat ležal v 95 % od 1.000 ponovnih vzorčenj posnetkov.
- Datum: 14. oktober 2026. Nekateri govorci so stavek začeli znova; to vsem orodjem prinese enake napake.
Vsi prepisi in skripta za ponovitev testa so shranjeni pri nas, tako da lahko test ponovimo, ko se modeli posodobijo.