Preskočiť na obsah
SLAIH

Pre úlohuHľadať podľa významu

SkMTEB — benchmark textových embeddingov pre slovenčinu

SkMTEB je prvý komplexný benchmark pre hodnotenie modelov textových embeddingov v slovenčine, pokrývajúci 31 datasetov naprieč 7 typmi úloh. Ide o slovenský ekvivalent medzinárodného MTEB benchmarku, ktorý sa stal štandardom pre porovnávanie embedding modelov. Textové embeddingy tvoria základ moderných AI aplikácií — sémantického vyhľadávania, RAG systémov a klasifikácie dokumentov — a SkMTEB umožňuje po prvý raz ich systematické hodnotenie pre slovenský jazyk.

Úloha
Textové embeddingy
Metrika
Avg Score
Modalita
Text
Zverejnené
23. júna 2026
Aktualizované
23. júna 2026
Modely
31
Detail datasetu v katalógu
SkMTEB
Odkazy

Poradie podľa: Všetky datasety (31)

Smer metriky
vyššie je lepšie
Zverejnené
Počet modelov
31 modelov
Veľkosť modelu
  1. 1
    77,49
  2. 2
    77,23
  3. 3
    75,10
  4. 4
    75,07
  5. 5
    74,70
  6. 6
    74,53
  7. 7
    74,43
  8. 8
    74,25
  9. 9
    73,70
  10. 10
    72,58
  11. 11
    72,54
  12. 12
    72,44
  13. 13
    72,39
  14. 14
    71,76
  15. 15
    71,26
Klikni na názov modelu a zvýrazníš ho vo všetkých metrikách.

Úplná tabuľka výsledkov

Pôvodné výsledky benchmarku: 31 modelov, 9 stĺpcov. Na mobile môžeš tabuľku posúvať vodorovne. Klikni na podčiarknutý názov stĺpca a graf nad tabuľkou sa zoradí podľa jeho hodnôt. Modely s podčiarknutým názvom majú vlastnú stránku v katalógu zdrojov.

SkMTEB — benchmark textových embeddingov pre slovenčinu: úplná tabuľka výsledkov
ModelCelkovoPodľa typu úlohy
Malé (< 130 mil.)
e5-sk-small45M70,5672,0191,3460,8440,9566,0584,9478,6481,32
granite-embedding-107m-multilingual107M65,8167,3185,8556,0440,8060,8878,1070,9378,54
static-similarity-mrl-multilingual-v1108M58,5160,9087,9848,8717,4763,6670,7659,3578,22
multilingual-e5-small118M70,3271,7891,2959,8141,0964,6685,1379,2181,25
paraphrase-multilingual-MiniLM-L12-v2118M67,8669,1694,9160,8337,4467,8273,4666,0383,62
slovakbert-skquad-mnlr125M67,4968,9185,0762,4938,0765,1376,9172,8281,90
slovakbert-sts-stsb125M63,4465,3781,7563,0531,8268,9067,1559,2085,69
sturovec-base125M68,9970,1386,9762,1941,5563,2780,6676,5479,73
Stredné (≥ 130, < 350 mil.)
nomic-embed-text-v1.5137M51,5255,0346,6451,4028,7761,9868,6055,3972,43
granite-embedding-278m-multilingual278M67,6969,0987,5657,8142,4161,4081,2573,9279,30
multilingual-e5-base278M72,3973,5794,7662,3540,9164,1085,7183,5783,59
paraphrase-multilingual-mpnet-base-v2278M70,3471,6796,2364,0538,9568,2176,7970,0387,44
gte-multilingual-base305M71,7673,2694,3661,7039,2867,2483,0481,6385,57
embeddinggemma-300m308M69,2570,5683,8962,0843,7665,5481,0078,4079,28
nomic-embed-text-v2-moe330M72,5873,8490,0363,9843,5364,1985,1585,3784,60
Veľké (≥ 350 mil.)
e5-sk-large365M74,7075,8896,3966,3441,4367,3287,8185,6086,25
LaBSE471M66,4467,5297,4858,7334,2864,3973,5263,3980,85
multilingual-e5-large560M74,2575,4996,2965,3440,3566,7887,9685,8085,90
multilingual-e5-large-instruct560M77,4978,4497,0970,2849,6970,5586,4986,0888,86
bge-m3568M74,4375,5596,2966,8139,9767,0386,7285,6386,39
snowflake-arctic-embed-l-v2.0568M72,5473,6393,4663,4040,4163,1187,1185,1782,76
jina-embeddings-v30.6B75,1076,2096,4366,8944,6366,4483,4485,7789,82
Qwen3-Embedding-0.6B596M70,5371,8090,1262,8444,2864,4682,0275,7383,14
jina-embeddings-v40.6B72,4473,8790,4962,9944,6564,4385,2583,6484,65
Qwen3-Embedding-4B4B73,7074,9694,2164,2644,2265,8286,2984,1185,82
Qwen3-Embedding-8B8B74,5375,7594,4365,9443,3666,6587,0486,2786,54
Cez API
embed-v4.071,2672,8290,2360,1240,1363,1287,4585,7182,95
text-embedding-3-small70,4871,3991,8262,1343,6463,2482,3776,9679,56
text-embedding-3-large75,0775,8996,7666,9144,2266,5886,9685,5584,21
gemini-embedding-00177,2378,0796,7671,0146,2667,0888,2788,3488,74
amazon-titan-embed-text-v267,2469,2184,9859,2633,3962,7883,9977,4382,67

Čo treba vedieť

  • Modely sú zoradené podľa priemerného skóre naprieč všetkými 31 datasetmi a 7 typmi úloh (Avg Score). Každý typ úlohy má vlastnú primárnu metriku — napríklad nDCG@10 pre retrieval alebo Spearmanov korelačný koeficient pre STS — ktoré sa najprv spriemerujú v rámci každého typu úlohy a následne naprieč všetkými typmi. Vyššia hodnota je lepšia.
  • Dátum 23. júna 2026 označuje zverejnenie výsledkov na SLAIH. Dátumy hodnotenia jednotlivých modelov sa môžu líšiť.
  • Pomlčka znamená, že model pre danú úlohu nemá výsledok. Nejde o nulu.
  • Ak model v tabuľke chýba, jeho výsledok tu nie je uvedený. Neznamená to, že je horší.
  • Výsledky sa vzťahujú na tento benchmark a jeho metriku. Nevyjadrujú celkovú kvalitu modelu.

Datasety a metodika

Vysvetlenie metrík

Avg Score
Priemerné skóre sa vypočítava ako makro-priemer: najprv sa spriemerujú výsledky v rámci každého typu úlohy, potom naprieč všetkými 7 typmi. Vyššia hodnota je lepšia. Každý typ úlohy má vlastnú primárnu metriku.

Info

Typy úloh
Benchmark zahŕňa sedem typov úloh: retrieval (vyhľadávanie relevantných dokumentov), klasifikácia (priradenie kategórií textu), zhlukovanie (zoskupenie sémanticky podobných textov), preraďovanie (zoradenie výsledkov podľa relevantnosti), STS — sémantická podobnosť viet, bitext mining (hľadanie prekladových párov) a klasifikácia dvojíc (predikcia vzťahu medzi dvoma textami).
Modely
Súčasťou práce je vývoj dvoch open-source embedding modelov pre slovenčinu — e5-sk-small (45M parametrov) a e5-sk-large (365M parametrov) — vzniknutých dotrénovaním modelu Multilingual E5 so skrátenou slovnou zásobou. Napriek redukcii veľkosti o až 62 % dosahujú modely výsledky porovnateľné s komerčnými API a sú vhodné na lokálne nasadenie.
SkMTEB — benchmark textových embeddingov pre slovenčinu: Datasety a metodika

Publikácie

Použi výsledky

Dáta

Úplná tabuľka výsledkov, 31 riadkov, kódovanie UTF-8.

Stiahnuť CSV

Citácia

Pri použití výsledkov uveď benchmark aj pôvodnú publikáciu.

SkMTEB — benchmark textových embeddingov pre slovenčinu. SLAIH – Slovak Language AI Hub, 23. júna 2026. https://slaih.sk/sk/benchmarks/skmteb
Detaily benchmarku — GitHub. SlovakNLP. https://slovak-nlp.github.io/skmteb/