Eesti Keele Instituut (EKI) testib laiaulatuslikult keelemudeleid, et hinnata nende usaldusväärsust eesti keele- ja inforuumis. Uuringu esimeses etapis uurisid teadlased, kuidas mudelid vastavad küsimustele teemadel, mida Kreml infosõjas kasutab. Tulemused näitavad, et tehisaru valides tuleb olla hoolas, sest sobimatu mudel võib hakata levitama eksitavat informatsiooni.

Uuringu üks olulisemaid järeldusi on see, et keelemudelite tegelikud nõrkused tulevad esile alles siis, kui kasutaja esitab laetud küsimuse või otsib sihilikult kallutatud sisu. Paljud mudelid hakkavad seepeale kordama Kremli jutupunkte, mõned lausa kaks korda tõenäolisemalt. EKi teadlased panid mudelid proovile eesti, inglise ja vene keeles. Tippmudelid peavad üldjuhul kõigis keeltes manipulatsioonidele vastu, kuid odavamate ja avatud mudelite puhul on vene keel märgatavalt nõrgemas seisus.

EKI tehisaru programmijuhi Krister Kruusmaa sõnul on see eriti murettekitav. Avatud mudeleid on sunnitud kasutama just need asutused, kes ei saa tundlikke andmeid pilveteenustesse saata. “Avatud mudelid on paljudele asutustele ainus valik, kuid praegu ei vasta need Eesti inforuumi vajadustele. See lõhe vajab tähelepanu,” märkis ta.

Kruusmaa rääkis, et pingerea tipus on üldiselt tipplaborite kommertsmudelid, eriti hästi esinevad Anthropicu mudelid. “Oma nii-öelda kaaluklassi kohta üllatavalt kehvad tulemused on Google’i Gemini mudelitel, mis muidu on eesti keele ja kultuuri tundmisel juhtivad,” lausus ta. Kõige nõrgemad tulemused olid vanematel mudelitel, näiteks GPT-3.5, GPT-4o Mini ja mõnedel avatud mudelitel nagu näiteks Meta arendatav Llama ja Prantsusmaal valminud Mistral.

Test näitas sedagi, et vene keeles on mudelid Kremli narratiividele märksa vastuvõtlikumad. Kruusmaa sõnul saab siinkohal vaid spekuleerida, miks see nõnda on. Ilmselt mängib suurt rolli kallutatud ja propagandistliku sisu suur osakaal venekeelsetes andmetes. On aga ka võimalik, et mudelite optimeerimine ehk joondamine käib liiga inglise keele keskselt.

Parimatel mudelitel on Kruusmaa sõnul vene keele tulemuse erinevus eesti- ja ingliskeelsest sisuliselt statistilise vea piires. Nõrgemate mudelite puhul võib vahe käriseda kuni 15 protsendini, nende seast leiab näiteks Google’i uusim lipulaeva Gemini 3.5 Flash.

Kui kasutada uusimat GPT või Claude’i mudelit, on kallutatud vastuse tõenäosus paar protsenti. Uusimal Gemini mudelil aga juba 15 protsenti, parimal Mistrali mudelil umbes 30 protsenti ning originaalsel ChatGPT-l aastast 2023 (GPT-3.5) lausa 50 protsenti. “Tasub siiski märkida, et EKI testis ei saa keelemudelid kasutada veebiotsingut või muid selliseid tööriistu, seega võivad mudelid rakenduse sees veidi teisiti käituda,” ütles Kruusmaa.

EKI direktor Arvi Tavast sõnas, et välismaistel poliitilistel trollivabrikutel on võime toota libasisu, mida kasutatakse tehisaru mudelite kallutamiseks. “See on ohtlik suundumus ning peame aktiivselt töötama selle nimel, et pilt Eestis oleks tasakaalustatud,” lausus ta.

Krister Kruusmaa rääkis, et Vene Föderatsioon teeb süsteemseid pingutusi mudelite treeningandmete kallutamiseks. “Selleks toodetakse massiliselt sisu, mis polegi mõeldud lugemiseks inimestele, vaid veebi kammivatele robotitele,” ütles ta.

Tegevuse tõhusus sõltub aga suurel määral konkreetse arendaja poolt võetud vastumeetmetest, näiteks andmete filtreerimisest ja probleemile teadlikult joonduse faasis tähelepanu pöörates. Nagu tõestavad propagandakindluse testis parimad mudelid, on see probleem Kruusmaa sõnul tegelikult lahendatav. EKI uuringu üks eesmärk ongi juhtida ka arendajatele tähelepanu lünkadele nende mudelite joonduses.

Propagandakindluse võrdlustest valmis koostöös Propastopi desinformatsiooni asjatundjatega, kes aitasid määratleda peamised Venemaa mõjutustegevusega seotud narratiivid ning kelle eksperthinnangud tagasid tulemuste usaldusväärsuse.

Lisaks ohutusele hinnatakse ka eesti keele kvaliteeti

Propagandakindluse võrdlustest on osa suuremast tervikust. Lisaks ohutusele hindab EKI seda, kui hästi saavad keelemudelid hakkama eesti keele ja Eesti kultuuriruumiga. Praeguseks on mõõdetud nii mudelite eesti keele oskust kui ka nende teadmisi eesti kultuurist. Eesti keele puhul selgus, et mudelite tase on ebaühtlane ega ole ajas kuigivõrd paranenud.

Mõne tootja uuemad mudelid on eesti keeles isegi kehvemad kui nende eelkäijad. Kruusmaa sõnul saavad väikekeeled suurfirmadelt vähem tähelepanu. “Eesti keele kvaliteedi osas üldjuhul sihilikku tööd ei tehta, ning isegi kui mõni arendaja peaks selle prioriteediks võtma, sõltuvad nad ikkagi nendest andmetest, mis veebis vedelevad. Eesti pole siiani ise eestikeelseid treeningandmeid piisavas mahus kättesaadavaks teinud,” märkis ta.

EKI on loonud keelemudelite mõõdupuu, mis näitab, kui hea on suurte keelemudelite tase eesti keele kvaliteedi, teadmiste ja ohutuse puhul. Tegu on reaalajas uueneva praktilise tööriistaga, mis aitab nii tavakasutajatel kui ka asutustel teha teadlikumaid valikuid. Mudelite testimine jätkub ka edaspidi. Uute mudelite ilmumisel testitakse neid jooksvalt ning tulemused lisatakse mõõdupuule. Sügisel täieneb mõõdupuu ka meditsiini, õiguse ning laste ja noorte ohutuse valdkonna uuringute tulemustega. 

Keelemudelite mõõdupuuga saab tutvuda siin: mõõdupuu.eki.ee