Preskočiť na obsah

Benchmarky pre slovenčinu

Porovnanie modelov na slovenských dátach podľa jednotnej metodiky.

SLAIH porovnáva AI modely na slovenských dátach. Vo viacjazyčných rebríčkoch slovenčina často chýba alebo je zastúpená len malým množstvom dát. Tieto benchmarky sa preto zameriavajú na slovenčinu a hodnotia modely pri rôznych úlohách, od rozpoznávania reči po porozumenie textu. Pri každom nájdeš výsledky, vysvetlenie metrík a odkazy na publikácie.

  • Pre úlohuPrepísať reč

    Benchmark rozpoznávania slovenskej reči (ASR)

    Toto je prvý špecializovaný benchmark rozpoznávania reči (STT) pre slovenčinu: 39 hodín nahrávok a 31 hodnotených modelov. Dostupné zdroje sa zameriavajú na angličtinu alebo na viacjazyčné datasety, kde slovenčina tvorí len zopár percent dát. Tento benchmark prináša priame porovnanie modelov na slovenských dátach naprieč rôznymi doménami.

    Metrika
    Slovná chybovosť (WER)
    Smer metriky
    nižšie je lepšie
    Aktualizované
    Celý rebríček31 hodnotených modelov
    1. 1Microsoft MAI-Transcribe-26,54 %
    2. 2Google Chirp 38,14 %
    3. 3ElevenLabs Scribe v29,15 %
    4. 4OpenAI GPT Realtime Whisper10,94 %
    5. 5Microsoft Azure Speech to Text13,29 %
  • Pre úlohuPísať po slovensky

    sk-bench – benchmark na hodnotenie generatívnych jazykových modelov (LLM) v slovenčine

    sk-bench hodnotí, ako dobre si veľké jazykové modely poradia so slovenčinou. Tvorí ho 30 datasetov z desiatich oblastí. Väčšina dát vznikla priamo v slovenčine a preklady sa použili len tam, kde slovenský originál neexistoval. Všetky modely sa hodnotia rovnakou metodikou a s rovnakými zadaniami. Výsledky uvádzame ako celkové skóre a samostatne pre šesť skupín úloh. V tabuľke nižšie je zoznam modelov zoradených podľa celkového skóre. Niekoľko z nich bolo hodnotených aj so zapnutým režimom uvažovania (thinking), preto sa v tabuľke nachádzajú dvakrát.

    Metrika
    Overall
    Smer metriky
    vyššie je lepšie
    Aktualizované
    Celý rebríček79 hodnotených modelov
    1. 1Gemini 3.1 Pro(API)72,65
    2. 2GPT-5.5(API)71,02
    3. 3Claude Opus 4.6(API)68,13
    4. 4Gemini 3.1 Flash-Lite(API)66,69
    5. 5Gemma 4 31B(31B)65,97
  • Pre úlohuPorozumieť textu

    skLEP — benchmark porozumenia slovenčine (NLU)

    skLEP je prvý komplexný benchmark špeciálne navrhnutý na hodnotenie modelov porozumenia slovenského jazyka (NLU). Pokrýva deväť úloh v troch skupinách: klasifikáciu tokenov, úlohy nad dvojicami viet a klasifikáciu dokumentov. Vznikol ako slovenský ekvivalent benchmarku GLUE a vypĺňa dlhoročnú medzeru v hodnotení jazykových modelov pre slovenčinu.

    Metrika
    Priemerné skóre v úlohách skLEP
    Smer metriky
    vyššie je lepšie
    Aktualizované
    Celý rebríček16 hodnotených modelov
    1. 1mDeBERTaV3Base85,17
    2. 2FERNET-CCBase84,27
    3. 3mmBERTBase84,17
    4. 4SlovakBERT83,95
    5. 4DeBERTaV3Large83,95
  • Pre úlohuHľadať podľa významu

    SkMTEB — benchmark textových embeddingov pre slovenčinu

    SkMTEB je prvý komplexný benchmark pre hodnotenie modelov textových embeddingov v slovenčine, pokrývajúci 31 datasetov naprieč 7 typmi úloh. Ide o slovenský ekvivalent medzinárodného MTEB benchmarku, ktorý sa stal štandardom pre porovnávanie embedding modelov. Textové embeddingy tvoria základ moderných AI aplikácií — sémantického vyhľadávania, RAG systémov a klasifikácie dokumentov — a SkMTEB umožňuje po prvý raz ich systematické hodnotenie pre slovenský jazyk.

    Metrika
    Priemer zo všetkých 31 datasetov
    Smer metriky
    vyššie je lepšie
    Aktualizované
    Celý rebríček31 hodnotených modelov
    1. 1multilingual-e5-large-instruct560M77,49
    2. 2gemini-embedding-00177,23
    3. 3jina-embeddings-v30.6B75,10
    4. 4text-embedding-3-large75,07
    5. 5e5-sk-large365M74,70