skLEP — Slovak Natural Language Understanding Benchmark
skLEP je prvý komplexný benchmark špeciálne navrhnutý na hodnotenie modelov porozumenia slovenského jazyka (NLU). Pokrýva sedem úloh v troch skupinách: klasifikáciu tokenov, úlohy nad dvojicami viet a klasifikáciu dokumentov. Vznikol ako slovenský ekvivalent benchmarku GLUE a vypĺňa dlhoročnú medzeru v hodnotení jazykových modelov pre slovenčinu.
- Úloha
- Porozumenie prirodzeného jazyka
- Metrika
- F1, RER
- Modalita
- Text
- Aktualizované
- 23. júna 2026
Články a publikácie
Vysvetlenie metrík
- F1
- Makro-priemer F1 je hlavnou metrikou naprieč väčšinou úloh. Harmonicky kombinuje presnosť a návratnosť a spriemeruje ich naprieč všetkými triedami bez ohľadu na ich veľkosť. Vyššia hodnota je lepšia.
- RER
- Relative Error Reduction vyjadruje relatívne zníženie chybovosti voči baseline modelu SlovakBERT. Vyššia hodnota znamená väčšie zlepšenie oproti baseline.
Modely sú zoradené podľa makro-priemeru F1 naprieč všetkými siedmimi NLU úlohami. RER (Relative Error Reduction) vyjadruje, o koľko model znižuje chybovosť oproti baseline modelu SlovakBERT — kladná hodnota RER znamená, že model ho prekonáva. Jedinou výnimkou je úloha STS, ktorá je hodnotená Spearmanovým korelačným koeficientom namiesto F1; pre účely agregácie je prevedená na škálu 0–100. Modely sú zoradené podľa makro-priemeru F1 naprieč všetkými siedmimi NLU úlohami. RER (Relative Error Reduction) vyjadruje, o koľko model znižuje chybovosť oproti baseline modelu SlovakBERT — kladná hodnota RER znamená, že model ho prekonáva. Jedinou výnimkou je úloha STS, ktorá je hodnotená Spearmanovým korelačným koeficientom namiesto F1; pre účely agregácie je prevedená na škálu 0–100.
Úlohy na úrovni tokenov
- Universal Dependencies (UD)
- Uloha Universal Dependencies (Nivre et al., 2020) je komunitná iniciatíva zameraná na tvorbu a rozširovanie syntakticky anotovaných korpusov (treebankov) pre viac ako 100 jazykov s využitím jednotnej anotácie. Poskytuje informácie o slovných druhoch (POS), lemmách, syntaktických závislostiach, argumentoch a modifikátoroch vo viac než 200 datasetoch. V rámci skLEP používame POS subset zo Slovenského dependency treebanku (Gajdošová et al., 2016) dostupného v UD.
- Universal NER (UNER)
- Úloha Universal NER (Mayhew et al., 2024) poskytuje kvalitné, jazykovo konzistentné anotácie pre rozpoznávanie pomenovaných entít (NER) v multilingválnom prostredí. Slovenská časť (opäť zo Slovenského dependency treebanku) obsahuje manuálne anotované entity typu osoba (PER), organizácia (ORG) a lokalita (LOC).
- WikiGoldSK (WGSK)
- WikiGoldSK (Suba et al., 2023) je manuálne anotovaný NER dataset pre slovenčinu, ktorý rieši obmedzenia tzv. „silver-standard" datasetov. Dáta pochádzajú zo slovenskej Wikipédie a boli anotované podľa pravidiel inšpirovaných úlohou BSNLP-2017 (Piskorski et al., 2017). Dataset používa CoNLL-2003 tagset a rozširuje ho o kategóriu MISC (napr. filmy, ocenenia, udalosti alebo médiá).
Úlohy nad dvojicami viet
- Recognizing Textual Entailment (RTE)
- Úloha RTE pochádza z benchmarku GLUE (Wang, 2018) a spája viacero datasetov z entailment výziev do binárnej klasifikácie (entailment vs. not entailment). Keďže slovenská verzia neexistovala, dataset bol preložený z angličtiny a následne upravený rodeným hovoriacim. Testovacia množina bola čiastočne manuálne preanotovaná, preto sa líši od originálu (1660 slovenských vs. 3000 anglických príkladov).
- Natural Language Inference (NLI)
- Úloha NLI hodnotí schopnosť modelu určiť vzťah medzi dvoma vetami: entailment, contradiction alebo neutral. Namiesto datasetu MNLI (používaného v GLUE) využívame XNLI (Conneau et al., 2018). Slovenská verzia bola vytvorená pomocou prekladového pipeline s následnou kontrolou rodeným hovoriacim.
- Semantic Textual Similarity (STS)
- Úloha STS meria sémantickú podobnosť dvoch viet na škále od 0 (žiadna podobnosť) po 5 (identický význam). Keďže slovenský dataset neexistoval, dáta boli preložené a následne upravené, pričom sa zachovali pôvodné hodnotenia (gold labels).
Úlohy na úrovni dokumentov
- Hate Speech Classification (HS)
- Dataset pochádza zo Slovak Hate Speech and Offensive Language Database a je určený na detekciu nenávistného a urážlivého obsahu na sociálnych sieťach. Príspevky sú binárne označené (1 = nenávistný/urážlivý, 0 = ostatné). Dáta boli získané scrapingom a čistené pomocou klastrovania textu.
- Sentiment Analysis (SA)
- Dataset pre sentiment analýzu vznikol pôvodne ako Reviews3 (Pecar et al., 2019) a bol neskôr upravený (Gurgurov et al., 2025). Obsahuje slovenské zákaznícke recenzie anotované ako pozitívne, negatívne alebo neutrálne. Vo verzii použitej v skLEP boli neutrálne príklady odstránené a úloha bola zjednodušená na binárnu klasifikáciu.
- Question Answering (SK-QuAD)
- SK-QuAD (Hládek et al., 2023) je prvý manuálne anotovaný dataset pre otázky a odpovede v slovenčine, kompatibilný so SQuAD v2.0. Obsahuje viac než 91 000 párov otázka–odpoveď, vrátane odpovedateľných aj neodpovedateľných otázok.