Preskočiť na obsah

Benchmarky pre slovenčinu

Porovnanie modelov na slovenských dátach podľa jednotnej metodiky.

SLAIH porovnáva AI modely na slovenských dátach. Vo viacjazyčných rebríčkoch slovenčina často chýba alebo je zastúpená len malým množstvom dát. Tieto benchmarky sa preto zameriavajú na slovenčinu a hodnotia modely pri rôznych úlohách, od rozpoznávania reči po porozumenie textu. Pri každom nájdeš výsledky, vysvetlenie metrík a odkazy na publikácie.

  • Pre úlohuPrepísať reč

    Benchmark rozpoznávania slovenskej reči (ASR)

    Toto je prvý špecializovaný benchmark rozpoznávania reči (STT) pre slovenčinu: 39 hodín nahrávok a 31 hodnotených modelov. Dostupné zdroje sa zameriavajú na angličtinu alebo na viacjazyčné datasety, kde slovenčina tvorí len zopár percent dát. Tento benchmark prináša priame porovnanie modelov na slovenských dátach naprieč rôznymi doménami.

    Metrika
    Slovná chybovosť (WER)
    Smer metriky
    nižšie je lepšie
    Aktualizované
    Celý rebríček31 hodnotených modelov
    1. 1Microsoft MAI-Transcribe-26,54 %
    2. 2Google Chirp 38,14 %
    3. 3ElevenLabs Scribe v29,15 %
    4. 4OpenAI GPT Realtime Whisper10,94 %
    5. 5Microsoft Azure Speech to Text13,29 %