{"id":3231,"date":"2025-11-24T10:04:00","date_gmt":"2025-11-24T08:04:00","guid":{"rendered":"http:\/\/158.129.51.247:8888\/?p=3231"},"modified":"2025-11-24T10:04:01","modified_gmt":"2025-11-24T08:04:01","slug":"svarbus-ivykiai-mazasis-lietuviu-kalbos-vektorizuotas-modelis","status":"publish","type":"post","link":"https:\/\/clarin-lt.lt\/?p=3231","title":{"rendered":"Svarb\u016bs \u012fvykiai. Ma\u017easis lietuvi\u0173 kalbos vektorizuotas modelis"},"content":{"rendered":"\n
\"\"<\/a><\/figure>\n\n\n\n

2025 m. lapkri\u010dio 3 d. tapo vie\u0161ai prieinamas ir atviras naudojimui Ma\u017easis lietuvi\u0173 kalbos vektorizuotas modelis<\/em> (LT-MLKM-modernBERT<\/em>), kur\u012f suk\u016br\u0117 Valstyb\u0117s skaitmenini\u0173 sprendim\u0173 agent\u016bra (VSSA)<\/a> kartu su Vytauto Did\u017eiojo universitetu (VDU)<\/a>, UAB Neurotechnology<\/a>, UAB Tilde Lietuva<\/a> ir MB Krilas<\/a> \u012fgyvendindami projekt\u0105 \u201eBendrojo lietuvi\u0173 kalbos tekstyno ir vektorizuot\u0173 modeli\u0173 suk\u016brimas\u201c. Daugiau informacijos apie projekt\u0105 pateikiama Skaitmenini\u0173 i\u0161tekli\u0173 ir tarpdisciplinini\u0173 tyrim\u0173 instituto<\/a> svetain\u0117je.<\/p>\n\n\n\n

VSSA projekto vadovas yra A. Rakauskas, o tiek\u0117j\u0173 grup\u0117s vadovas \u2013 doc. dr. Andrius Utka<\/a>.<\/p>\n\n\n\n

LT-MLKM-modernBERT <\/em>\u2013 tai maskuotosios kalbos (angl. Masked language model<\/em> arba sutrumpintai MLM<\/em>) tipo neuroninis lietuvi\u0173 kalbos modelis, kuris sukurtas naudojant ModernBERT<\/em> architekt\u016br\u0105 ir i\u0161 anksto apmokytas (angl.\u00a0pre-trained<\/em>) pasitelkiant Bendr\u0105j\u012f lietuvi\u0173 kalbos tekstyn\u0105 <\/em>(BLKT Lithuanian Text Corpus Stage 3<\/em>), kur\u012f sudaro daugiau nei 1,87 milijardo \u017eod\u017ei\u0173 ir 49 milijardai mokymo vienet\u0173 (angl. tokens<\/em>) i\u0161 \u012fvairi\u0173 Lietuvi\u0173 kalbos \u0161altini\u0173: naujien\u0173, teis\u0117s, akademini\u0173 ir vie\u0161ojo diskurso tekst\u0173. Konteksto ilgis yra 8192 vienetai (angl. tokens<\/em>), tod\u0117l jis efektyviai apdoroja ilgus dokumentus, i\u0161laikydamas lingvistin\u012f tikslum\u0105 ir nuoseklum\u0105. LT-MLKM-modernBERT<\/em> modelis yra auk\u0161tos kokyb\u0117s lietuvi\u0173 kalbos i\u0161teklius su i\u0161 anksto apmokytu neuroniniu modeliu, kuris pad\u0117s pl\u0117toti mokslinius tyrimus dirbtinio intelekto srityje ir pritaikyti skaitmenines inovacijas realiems poreikiams praktikoje.<\/p>\n\n\n\n

I\u0161sam\u016bs LT-MLKM-modernBERT <\/em>modelio duomenys \u2013 sandara, paai\u0161kinimai kaip prad\u0117ti naudotis \u0161iuo i\u0161tekliu, naudojimosi galimyb\u0117s, i\u0161 ankstinio apmokymo duomenys, licensijos tipas ir kita naudinga informacija pateikiama \u010dia<\/a>. Taip pat su\u017einokite apie MLKVM validavimo sprendim\u0105<\/a>.<\/p>\n\n\n\n

Ma\u017easis lietuvi\u0173 kalbos vektorizuotas modelis<\/em> (LT-MLKM-modernBERT<\/em>) jau pasiekiamas atvirojoje prieigoje \u2013 Hugging Face<\/a> platformoje.<\/p>\n\n\n\n

\u017demiau pateikiamas maskuotosios kalbos<\/em> paai\u0161kinimas, bei skirtumas tarp BERT<\/em> ir ModernBERT <\/em>modeli\u0173.<\/p>\n\n\n\n

Maskuotoji kalba<\/em> da\u017enai naudojama Nat\u016bralios kalbos apdorojime<\/em> (angl. Natural language processing arba sutrumpintai NLP), tai yra neuroninio tinklo architekt\u016bros tipas ir savaranki\u0161ko mokymosi technika leid\u017eianti modeliui numatyti ne\u017einomus teksto elementus, remiantis \u017einomo sakinio dalimi ar platesniu jo kontekstu. \u0160is mokymosi procesas sukuria turting\u0105 mokymosi aplink\u0105: u\u017efiksuoja dvikrypt\u012f kalbos kontekst\u0105, skatina gilesn\u012f sintaks\u0117s ir semantikos supratim\u0105 tekstiniuose duomenyse.<\/p>\n\n\n\n

BERT akronimas rei\u0161kia dvikrypt\u012f transformacinio kodavimo b\u016bd\u0105 (angl. Bidirectional Encoder Representations from Transformers), o ModernBERT yra pa\u017eangus BERT architekt\u016bros patobulinimas, skirtas pagerinti \u012fvairi\u0173 nat\u016bralios kalbos u\u017eduo\u010di\u0173 na\u0161um\u0105, pvz., integruoti naujiniai padeda u\u017etikrinti geresn\u012f kalbos apdorojim\u0105 ir kontekstin\u012f supratim\u0105.<\/p>\n\n\n\n

Skaitykite apie LT-MLKM-modernBERT<\/em> model\u012f \u0161iuose \u0161altiniuose:<\/p>\n\n\n\n

Valstyb\u0117s skaitmenini\u0173 sprendim\u0173 agent\u016bros<\/a> straipsn\u012f Sukurtas pirmasis lietuvi\u0173 kalbos dirbtinio intelekto modelis: lietuvi\u0173 tyr\u0117j\u0173 \u017eingsnis \u012f DI ateit\u012f<\/em><\/a>;<\/p>\n\n\n\n

Valstyb\u0117s skaitmenini\u0173 sprendim\u0173 agent\u016bros<\/a> straipsn\u012f Ma\u017easis lietuvi\u0173 kalbos vektorizuotas modelis<\/a>;<\/p>\n\n\n\n

Lietuvos ryto<\/a> straipsn\u012f Lietuvi\u0173 tyr\u0117j\u0173 \u017eingsnis \u012f DI ateit\u012f: sukurtas pirmasis lietuvi\u0173 kalbos dirbtinio intelekto modelis<\/a>.<\/p>\n\n\n\n

Projektu prisidedama prie 2021\u20132030 met\u0173 Lietuvos Respublikos Ekonomikos ir inovacij\u0173 ministerijos valstyb\u0117s skaitmeninimo pl\u0117tros programos pa\u017eangos priemon\u0117s Nr. 05-002-01-07-08 \u201eKurti technologinius sprendimus ir \u012frankius, leid\u017eian\u010dius saugiai ir patogiai naudotis paslaugomis\u201c veiklos \u201eKalbini\u0173 i\u0161tekli\u0173 dirbtinio intelekto technologij\u0173 sprendim\u0173 poreikiams pl\u0117tra\u201c \u012fgyvendinimo. <\/p>\n\n\n\n

Projektas \u012fgyvendinamas Ekonomikos gaivinimo ir atsparumo didinimo priemon\u0117s (RRF) l\u0117\u0161omis.\u00a0<\/p>\n\n\n\n

\"\"<\/a><\/figure>\n","protected":false},"excerpt":{"rendered":"

2025 m. lapkri\u010dio 3 d. tapo vie\u0161ai prieinamas ir atviras naudojimui Ma\u017easis lietuvi\u0173 kalbos vektorizuotas modelis (LT-MLKM-modernBERT), kur\u012f suk\u016br\u0117 Valstyb\u0117s skaitmenini\u0173 sprendim\u0173 agent\u016bra (VSSA) kartu su Vytauto Did\u017eiojo universitetu (VDU), UAB Neurotechnology, UAB Tilde Lietuva ir MB Krilas \u012fgyvendindami projekt\u0105…<\/span><\/p>\n

Read more ›<\/a><\/div>\n

<\/p>\n","protected":false},"author":7,"featured_media":3234,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[],"class_list":["post-3231","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-uncategorized"],"_links":{"self":[{"href":"https:\/\/clarin-lt.lt\/index.php?rest_route=\/wp\/v2\/posts\/3231","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/clarin-lt.lt\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/clarin-lt.lt\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/clarin-lt.lt\/index.php?rest_route=\/wp\/v2\/users\/7"}],"replies":[{"embeddable":true,"href":"https:\/\/clarin-lt.lt\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=3231"}],"version-history":[{"count":2,"href":"https:\/\/clarin-lt.lt\/index.php?rest_route=\/wp\/v2\/posts\/3231\/revisions"}],"predecessor-version":[{"id":3236,"href":"https:\/\/clarin-lt.lt\/index.php?rest_route=\/wp\/v2\/posts\/3231\/revisions\/3236"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/clarin-lt.lt\/index.php?rest_route=\/wp\/v2\/media\/3234"}],"wp:attachment":[{"href":"https:\/\/clarin-lt.lt\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=3231"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/clarin-lt.lt\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=3231"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/clarin-lt.lt\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=3231"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}