Pre úlohuPorozumieť textu
skLEP — benchmark porozumenia slovenčine (NLU)
skLEP je prvý komplexný benchmark špeciálne navrhnutý na hodnotenie modelov porozumenia slovenského jazyka (NLU). Pokrýva deväť úloh v troch skupinách: klasifikáciu tokenov, úlohy nad dvojicami viet a klasifikáciu dokumentov. Vznikol ako slovenský ekvivalent benchmarku GLUE a vypĺňa dlhoročnú medzeru v hodnotení jazykových modelov pre slovenčinu.
- Úloha
- Porozumenie prirodzeného jazyka
- Metrika
- F1, RER
- Modalita
- Text
- Zverejnené
- 23. júna 2026
- Aktualizované
- 23. júna 2026
- Modely
- 16
- Detail datasetu v katalógu
- skLEP
- Spolupracovali
Poradie podľa: Priemerné skóre
- Smer metriky
- vyššie je lepšie
- Zverejnené
- Počet modelov
- 16 modelov
- 185,17
- 284,27
- 384,17
- 483,95
- 483,95
- 683,36
- 782,96
- 882,30
- 982,01
- 1081,16
- 1180,56
- 1278,75
- 1378,54
- 1478,48
- 1574,46
- 1672,82
Klikni na názov modelu a zvýrazníš ho vo všetkých metrikách.
Úplná tabuľka výsledkov
Pôvodné výsledky benchmarku: 16 modelov, 20 stĺpcov. Na mobile môžeš tabuľku posúvať vodorovne. Klikni na podčiarknutý názov stĺpca a graf nad tabuľkou sa zoradí podľa jeho hodnôt. Modely s podčiarknutým názvom majú vlastnú stránku v katalógu zdrojov.
| Model | Celkovo | Úroveň tokenov | Dvojice viet | Úroveň dokumentov | ||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| UD, slovné druhy | UNER, entity | WGSK, entity | RTE, vyplývanie | NLI, inferencia | STS, podobnosť viet | HS, nenávistné prejavy | SA, sentiment | QA, zodpovedanie otázok | ||||||||||||
| 🇸🇰SlovakBERT | +0,00 | 83,95 | +0,00 | 98,04 | +0,00 | 81,92 | +0,00 | 92,14 | +0,00 | 65,20 | +0,00 | 82,75 | +0,00 | 83,18 | +0,00 | 80,31 | +0,00 | 97,63 | +0,00 | 74,36 |
| 🇸🇰HPLTBase | -1,29 | 82,96 | +9,71 | 98,23 | +13,05 | 84,28 | +16,50 | 93,44 | -24,12 | 56,81 | -11,83 | 80,71 | -9,01 | 81,66 | -7,68 | 78,80 | -1,23 | 97,60 | +3,04 | 75,14 |
| 🇸🇰FERNET-CCBase | +0,55 | 84,27 | -8,67 | 97,87 | +9,22 | 83,59 | +8,12 | 92,78 | +8,72 | 68,23 | -5,31 | 81,83 | +2,50 | 83,60 | -6,40 | 79,05 | -1,23 | 97,60 | -1,97 | 73,85 |
| 🌐DistilmBERTBase | -41,42 | 78,54 | -45,84 | 97,14 | -34,96 | 75,60 | -59,00 | 87,50 | -16,79 | 59,36 | -50,45 | 74,05 | -56,38 | 73,70 | -24,24 | 75,54 | -59,27 | 96,23 | -25,84 | 67,73 |
| 🌐MiniLML12-Base | -41,21 | 78,75 | -36,16 | 97,33 | -67,55 | 69,71 | -82,88 | 85,63 | -18,75 | 58,67 | -52,50 | 73,69 | -23,25 | 79,27 | -23,21 | 75,74 | -59,27 | 96,23 | -7,35 | 72,47 |
| 🌐mBERTBase | -30,82 | 81,16 | -78,38 | 96,50 | -32,51 | 76,04 | -56,79 | 87,68 | +2,83 | 66,18 | -28,09 | 77,90 | -26,21 | 78,77 | -15,00 | 77,36 | -39,03 | 96,71 | -4,23 | 73,28 |
| 🌐XLM-RBase | -7,58 | 82,30 | -6,09 | 97,92 | -1,29 | 81,69 | -2,05 | 91,98 | -17,42 | 59,14 | -9,36 | 81,14 | -14,59 | 80,73 | -16,03 | 77,15 | +2,82 | 97,70 | -4,20 | 73,28 |
| 🌐XLM-VBase | -33,83 | 80,56 | -20,69 | 97,63 | -28,86 | 76,70 | -14,13 | 91,03 | -21,98 | 57,55 | -15,62 | 80,06 | -19,84 | 79,84 | -29,50 | 74,50 | -151,06 | 94,05 | -2,76 | 73,65 |
| 🌐mDeBERTaV3Base | +6,43 | 85,17 | -1,22 | 98,02 | +8,40 | 83,44 | +9,51 | 92,89 | +16,51 | 70,94 | +9,60 | 84,41 | +9,76 | 84,82 | -10,25 | 78,29 | +9,56 | 97,86 | +5,96 | 75,89 |
| 🌐XLM-RLarge | -11,90 | 83,36 | +9,95 | 98,23 | +7,19 | 83,22 | +1,29 | 92,24 | -22,56 | 57,35 | +17,71 | 85,80 | +24,80 | 87,35 | -30,91 | 74,22 | -125,41 | 94,66 | +10,86 | 77,14 |
| 🌐mmBERTSmall | -12,74 | 82,01 | -12,31 | 97,80 | -25,84 | 77,24 | -12,29 | 91,18 | -1,15 | 64,80 | -9,62 | 81,10 | -23,95 | 79,16 | -24,26 | 75,54 | -2,70 | 97,57 | -2,53 | 73,71 |
| 🌐mmBERTBase | -2,75 | 84,17 | -3,74 | 97,97 | -7,90 | 80,49 | +3,97 | 92,45 | +22,68 | 73,09 | +4,06 | 83,45 | +2,25 | 83,56 | -31,71 | 74,07 | -17,57 | 97,22 | +3,24 | 75,19 |
| 🇺🇸DeBERTaV3Base | -52,40 | 78,48 | -77,17 | 96,53 | -66,97 | 69,81 | -71,13 | 86,55 | -10,73 | 61,47 | -27,20 | 78,06 | -48,12 | 75,09 | -38,62 | 72,71 | -120,01 | 94,79 | -11,65 | 71,37 |
| 🇺🇸DeBERTaV3Large | -10,22 | 83,95 | -25,22 | 97,55 | -18,13 | 78,64 | -22,60 | 90,36 | +26,14 | 74,30 | +13,77 | 85,13 | -7,38 | 81,94 | -21,03 | 76,17 | -39,03 | 96,71 | +1,45 | 74,73 |
| 🇺🇸ModernBERTBase | -132,43 | 72,82 | -332,62 | 91,52 | -184,06 | 48,64 | -282,12 | 69,97 | -21,35 | 57,77 | -65,66 | 71,42 | -57,07 | 73,58 | -31,68 | 74,07 | -84,92 | 95,62 | – | – |
| 🇺🇸ModernBERTLarge | -110,09 | 74,46 | -212,22 | 93,88 | -169,39 | 51,29 | -171,84 | 78,63 | -36,23 | 52,59 | -43,85 | 75,19 | -43,06 | 75,94 | -28,73 | 74,65 | -175,35 | 93,47 | – | – |
Čo treba vedieť
- Modely sú zoradené podľa priemeru (AVG) naprieč všetkými deviatimi úlohami. Úlohy UD, UNER, WGSK a QA sa hodnotia metrikou F1, úlohy RTE, NLI, HS a SA presnosťou (accuracy) a STS Pearsonovým korelačným koeficientom prevedeným na škálu 0–100. RER (Relative Error Reduction) vyjadruje, o koľko model znižuje chybovosť oproti baseline modelu SlovakBERT — kladná hodnota znamená, že ho prekonáva.
- Dátum 23. júna 2026 označuje zverejnenie výsledkov na SLAIH. Dátumy hodnotenia jednotlivých modelov sa môžu líšiť.
- Pomlčka znamená, že model pre danú úlohu nemá výsledok. Nejde o nulu.
- Ak model v tabuľke chýba, jeho výsledok tu nie je uvedený. Neznamená to, že je horší.
- Výsledky sa vzťahujú na tento benchmark a jeho metriku. Nevyjadrujú celkovú kvalitu modelu.
Datasety a metodika
Vysvetlenie metrík
- F1
- Makro-priemer F1, používa sa pri úlohách UD, UNER, WGSK a QA. Harmonicky kombinuje presnosť a návratnosť a spriemeruje ich naprieč všetkými triedami bez ohľadu na ich veľkosť. Vyššia hodnota je lepšia.
- Acc.
- Presnosť (accuracy), používa sa pri úlohách RTE, NLI, HS a SA. Podiel príkladov, ktoré model klasifikuje správne. Vyššia hodnota je lepšia.
- Pear.
- Pearsonov korelačný koeficient medzi skóre podobnosti od modelu a ľudským hodnotením, používa sa pri úlohe STS. Pre účely priemeru je prevedený na škálu 0–100. Vyššia hodnota je lepšia.
- RER
- Relative Error Reduction vyjadruje relatívne zníženie chybovosti voči baseline modelu SlovakBERT. Vyššia hodnota znamená väčšie zlepšenie oproti baseline.
Úlohy na úrovni tokenov
- Universal Dependencies (UD)
- Uloha Universal Dependencies (Nivre et al., 2020) je komunitná iniciatíva zameraná na tvorbu a rozširovanie syntakticky anotovaných korpusov (treebankov) pre viac ako 100 jazykov s využitím jednotnej anotácie. Poskytuje informácie o slovných druhoch (POS), lemmách, syntaktických závislostiach, argumentoch a modifikátoroch vo viac než 200 datasetoch. V rámci skLEP používame POS subset zo Slovenského dependency treebanku (Gajdošová et al., 2016) dostupného v UD.
- Universal NER (UNER)
- Úloha Universal NER (Mayhew et al., 2024) poskytuje kvalitné, jazykovo konzistentné anotácie pre rozpoznávanie pomenovaných entít (NER) v multilingválnom prostredí. Slovenská časť (opäť zo Slovenského dependency treebanku) obsahuje manuálne anotované entity typu osoba (PER), organizácia (ORG) a lokalita (LOC).
- WikiGoldSK (WGSK)
- WikiGoldSK (Suba et al., 2023) je manuálne anotovaný NER dataset pre slovenčinu, ktorý rieši obmedzenia tzv. „silver-standard" datasetov. Dáta pochádzajú zo slovenskej Wikipédie a boli anotované podľa pravidiel inšpirovaných úlohou BSNLP-2017 (Piskorski et al., 2017). Dataset používa CoNLL-2003 tagset a rozširuje ho o kategóriu MISC (napr. filmy, ocenenia, udalosti alebo médiá).
Úlohy nad dvojicami viet
- Recognizing Textual Entailment (RTE)
- Úloha RTE pochádza z benchmarku GLUE (Wang, 2018) a spája viacero datasetov z entailment výziev do binárnej klasifikácie (entailment vs. not entailment). Keďže slovenská verzia neexistovala, dataset bol preložený z angličtiny a následne upravený rodeným hovoriacim. Testovacia množina bola čiastočne manuálne preanotovaná, preto sa líši od originálu (1660 slovenských vs. 3000 anglických príkladov).
- Natural Language Inference (NLI)
- Úloha NLI hodnotí schopnosť modelu určiť vzťah medzi dvoma vetami: entailment, contradiction alebo neutral. Namiesto datasetu MNLI (používaného v GLUE) využívame XNLI (Conneau et al., 2018). Slovenská verzia bola vytvorená pomocou prekladového pipeline s následnou kontrolou rodeným hovoriacim.
- Semantic Textual Similarity (STS)
- Úloha STS meria sémantickú podobnosť dvoch viet na škále od 0 (žiadna podobnosť) po 5 (identický význam). Keďže slovenský dataset neexistoval, dáta boli preložené a následne upravené, pričom sa zachovali pôvodné hodnotenia (gold labels).
Úlohy na úrovni dokumentov
- Hate Speech Classification (HS)
- Dataset pochádza zo Slovak Hate Speech and Offensive Language Database a je určený na detekciu nenávistného a urážlivého obsahu na sociálnych sieťach. Príspevky sú binárne označené (1 = nenávistný/urážlivý, 0 = ostatné). Dáta boli získané scrapingom a čistené pomocou klastrovania textu.
- Sentiment Analysis (SA)
- Dataset pre sentiment analýzu vznikol pôvodne ako Reviews3 (Pecar et al., 2019) a bol neskôr upravený (Gurgurov et al., 2025). Obsahuje slovenské zákaznícke recenzie anotované ako pozitívne, negatívne alebo neutrálne. Vo verzii použitej v skLEP boli neutrálne príklady odstránené a úloha bola zjednodušená na binárnu klasifikáciu.
- Question Answering (SK-QuAD)
- SK-QuAD (Hládek et al., 2023) je prvý manuálne anotovaný dataset pre otázky a odpovede v slovenčine, kompatibilný so SQuAD v2.0. Obsahuje viac než 91 000 párov otázka–odpoveď, vrátane odpovedateľných aj neodpovedateľných otázok.
Publikácie
Použi výsledky
Citácia
Pri použití výsledkov uveď benchmark aj pôvodnú publikáciu.
skLEP — benchmark porozumenia slovenčine (NLU). SLAIH – Slovak Language AI Hub, 23. júna 2026. https://slaih.sk/sk/benchmarks/sklep skLEP: A Slovak General Language Understanding Benchmark. ACL 2025. https://arxiv.org/abs/2506.21508