Benchmarky pre slovenčinu
Porovnanie modelov na slovenských dátach podľa jednotnej metodiky.
SLAIH porovnáva AI modely na slovenských dátach. Vo viacjazyčných rebríčkoch slovenčina často chýba alebo je zastúpená len malým množstvom dát. Tieto benchmarky sa preto zameriavajú na slovenčinu a hodnotia modely pri rôznych úlohách, od rozpoznávania reči po porozumenie textu. Pri každom nájdeš výsledky, vysvetlenie metrík a odkazy na publikácie.
Pre úlohuPísať po slovensky
sk-bench – benchmark na hodnotenie generatívnych jazykových modelov (LLM) v slovenčine
sk-bench hodnotí, ako dobre si veľké jazykové modely poradia so slovenčinou. Tvorí ho 30 datasetov z desiatich oblastí. Väčšina dát vznikla priamo v slovenčine a preklady sa použili len tam, kde slovenský originál neexistoval. Všetky modely sa hodnotia rovnakou metodikou a s rovnakými zadaniami. Výsledky uvádzame ako celkové skóre a samostatne pre šesť skupín úloh. V tabuľke nižšie je zoznam modelov zoradených podľa celkového skóre. Niekoľko z nich bolo hodnotených aj so zapnutým režimom uvažovania (thinking), preto sa v tabuľke nachádzajú dvakrát.
- Metrika
- Overall
- Smer metriky
- vyššie je lepšie
- Aktualizované
Celý rebríček79 hodnotených modelov- 1Gemini 3.1 Pro(API)72,65
- 2GPT-5.5(API)71,02
- 3Claude Opus 4.6(API)68,13
- 4Gemini 3.1 Flash-Lite(API)66,69
- 5Gemma 4 31B(31B)65,97
Pre úlohuPorozumieť textu
skLEP — benchmark porozumenia slovenčine (NLU)
skLEP je prvý komplexný benchmark špeciálne navrhnutý na hodnotenie modelov porozumenia slovenského jazyka (NLU). Pokrýva deväť úloh v troch skupinách: klasifikáciu tokenov, úlohy nad dvojicami viet a klasifikáciu dokumentov. Vznikol ako slovenský ekvivalent benchmarku GLUE a vypĺňa dlhoročnú medzeru v hodnotení jazykových modelov pre slovenčinu.
- Metrika
- Priemerné skóre v úlohách skLEP
- Smer metriky
- vyššie je lepšie
- Aktualizované
Celý rebríček16 hodnotených modelov- 1mDeBERTaV3Base85,17
- 2FERNET-CCBase84,27
- 3mmBERTBase84,17
- 4SlovakBERT83,95
- 4DeBERTaV3Large83,95
Pre úlohuHľadať podľa významu
SkMTEB — benchmark textových embeddingov pre slovenčinu
SkMTEB je prvý komplexný benchmark pre hodnotenie modelov textových embeddingov v slovenčine, pokrývajúci 31 datasetov naprieč 7 typmi úloh. Ide o slovenský ekvivalent medzinárodného MTEB benchmarku, ktorý sa stal štandardom pre porovnávanie embedding modelov. Textové embeddingy tvoria základ moderných AI aplikácií — sémantického vyhľadávania, RAG systémov a klasifikácie dokumentov — a SkMTEB umožňuje po prvý raz ich systematické hodnotenie pre slovenský jazyk.
- Metrika
- Priemer zo všetkých 31 datasetov
- Smer metriky
- vyššie je lepšie
- Aktualizované
Celý rebríček31 hodnotených modelov- 1multilingual-e5-large-instruct560M77,49
- 2gemini-embedding-00177,23
- 3jina-embeddings-v30.6B75,10
- 4text-embedding-3-large75,07
- 5e5-sk-large365M74,70