Preskočiť na obsah
DatasetText

skLEP

skLEP (General Language Understanding Evaluation benchmark for Slovak) je prvý komplexný benchmark špeciálne navrhnutý na hodnotenie modelov porozumenia prirodzenému jazyku (NLU) v slovenčine.

Otvoriť na Hugging FaceČlánok

Môžem to použiť?

Licencia dovoľuje len nekomerčné použitie.

O zdroji

skLEP (General Language Understanding Evaluation benchmark for Slovak) je prvý komplexný benchmark špeciálne navrhnutý na hodnotenie modelov porozumenia prirodzenému jazyku (NLU) v slovenčine. Benchmark zahŕňa deväť rôznych úloh, ktoré zahŕňajú výzvy na úrovni tokenov, párov viet a dokumentov, čím ponúkajú dôkladné posúdenie schopností modelu. Na vytvorenie tohto benchmarku sme zostavili nové, originálne súbory údajov prispôsobené pre slovenčinu a dôkladne preložili zavedené anglické zdroje NLU s následnou úpravou rodenými hovoriacimi, aby sme zabezpečili vysokokvalitné hodnotenie. skLEP zahŕňa deväť úloh v troch kategóriách: Úlohy na úrovni tokenov: Označovanie slovných druhov (POS) pomocou univerzálnych závislostí Rozpoznávanie pomenovaných entít pomocou univerzálneho NER (UNER) Rozpoznávanie pomenovaných entít pomocou WikiGoldSK (WGSK) Úlohy s pármi viet: Rozpoznávanie textových skrytostí (RTE) Inferencia prirodzeného jazyka (NLI) Sémantická textová podobnosť (STS) Úlohy na úrovni dokumentov: Klasifikácia nenávistných prejavov (HS) Analýza sentimentu (SA) Odpovedanie na otázky (QA) na základe SK-QuAD

Tento dataset používa benchmark skLEP — benchmark porozumenia slovenčine (NLU).Zobraziť rebríček

Vidíš chybu alebo chýbajúci údaj? Napíš nám.
  • DatasetANLI SK

    Preložená verzia českého ANLI datasetu do slovenčiny.

    CC BY-NC-SA 4.0
  • SlovakBERT je prvý predtrénovaný maskovaný jazykový model založený na architektúre RoBERTa, optimalizovaný na komplexné spracovanie prirodzeného jazyka (NLP) v slovenčine.

Ďalšie zdroje od tímu LRKT FEI TUKE

LRKT FEI TUKE

Ďalšie zdroje od tímu NLP KInIT

NLP KInIT