Benchmarky pre slovenčinu
Porovnanie modelov na slovenských dátach podľa jednotnej metodiky.
SLAIH porovnáva AI modely na slovenských dátach. Vo viacjazyčných rebríčkoch slovenčina často chýba alebo je zastúpená len malým množstvom dát. Tieto benchmarky sa preto zameriavajú na slovenčinu a hodnotia modely pri rôznych úlohách, od rozpoznávania reči po porozumenie textu. Pri každom nájdeš výsledky, vysvetlenie metrík a odkazy na publikácie.
Pre úlohuPrepísať reč
Benchmark rozpoznávania slovenskej reči (ASR)
Toto je prvý špecializovaný benchmark rozpoznávania reči (STT) pre slovenčinu: 39 hodín nahrávok a 31 hodnotených modelov. Dostupné zdroje sa zameriavajú na angličtinu alebo na viacjazyčné datasety, kde slovenčina tvorí len zopár percent dát. Tento benchmark prináša priame porovnanie modelov na slovenských dátach naprieč rôznymi doménami.
- Metrika
- Slovná chybovosť (WER)
- Smer metriky
- nižšie je lepšie
- Aktualizované
Celý rebríček31 hodnotených modelov- 1Microsoft MAI-Transcribe-26,54 %
- 2Google Chirp 38,14 %
- 3ElevenLabs Scribe v29,15 %
- 4OpenAI GPT Realtime Whisper10,94 %
- 5Microsoft Azure Speech to Text13,29 %