SkMTEB — Slovak Text Embedding Benchmark
SkMTEB je prvý komplexný benchmark pre hodnotenie modelov textových embeddingov v slovenčine, pokrývajúci 31 datasetov naprieč 7 typmi úloh. Ide o slovenský ekvivalent medzinárodného MTEB benchmarku, ktorý sa stal štandardom pre porovnávanie embedding modelov. Textové embeddingy tvoria základ moderných AI aplikácií — sémantického vyhľadávania, RAG systémov a klasifikácie dokumentov — a SkMTEB umožňuje po prvý raz ich systematické hodnotenie pre slovenský jazyk.
- Úloha
- Textové embeddingy
- Metrika
- Avg Score
- Modalita
- Text
- Aktualizované
- 23. júna 2026
Články a publikácie
Vysvetlenie metrík
- Avg Score
- Priemerné skóre sa vypočítava ako makro-priemer: najprv sa spriemerujú výsledky v rámci každého typu úlohy, potom naprieč všetkými 7 typmi. Vyššia hodnota je lepšia. Každý typ úlohy má vlastnú primárnu metriku.
Modely sú zoradené podľa priemerného skóre naprieč všetkými 31 datasetmi a 7 typmi úloh (Avg Score). Každý typ úlohy má vlastnú primárnu metriku — napríklad nDCG@10 pre retrieval alebo Spearmanov korelačný koeficient pre STS — ktoré sa najprv spriemerujú v rámci každého typu úlohy a následne naprieč všetkými typmi. Vyššia hodnota je lepšia.
Info
- Typy úloh
- Benchmark zahŕňa sedem typov úloh: retrieval (vyhľadávanie relevantných dokumentov), klasifikácia (priradenie kategórií textu), zhlukovanie (zoskupenie sémanticky podobných textov), preraďovanie (zoradenie výsledkov podľa relevantnosti), STS — sémantická podobnosť viet, bitext mining (hľadanie prekladových párov) a klasifikácia dvojíc (predikcia vzťahu medzi dvoma textami).
- Modely
- Súčasťou práce je vývoj dvoch open-source embedding modelov pre slovenčinu — e5-sk-small (45M parametrov) a e5-sk-large (365M parametrov) — vzniknutých dotrénovaním modelu Multilingual E5 so skrátenou slovnou zásobou. Napriek redukcii veľkosti o až 62 % dosahujú modely výsledky porovnateľné s komerčnými API a sú vhodné na lokálne nasadenie.