Tehnoloogia võimaldab luua aina realistlikumaid AI-agente. Kohtame neid virtuaalassistentidena enda nutiseadmetes ning väga elutruude metainimestena mängudes ja filmides. Tehisintellektikaaslased võivad olla head vestluspartnerid, kuid seni on enamiku näoilmed vestluse ajal jäänud jäigaks ja umbmääraseks. Abdallah Hussein Shami teadustöö eesmärk oli seda lünka parandada.

Selleks töötas ta välja modulaarse kaamerapõhise süsteemi (Enactive Facial Expression Pipeline ehk EFEP), mis võimaldab tehisintellekti agendil lugeda inimese näoilmeid ja vastata neile konteksti sobiva ilmega.

«Lähtusin teadustöös ideest, et tähenduslik suhtlus sünnib inimese ja AI-agendi vahelisest pidevast vastastikusest mõjust, mitte ühe hetkepildi põhjal nägu analüüsides,» toob Abdallah Hussein Sham välja kasu, mida loodud süsteem kaasa toob.

Kuidas see töötab?

Kasutades tavalist veebikaamerat, loeb süsteem inimese näoilmet, ennustab inimese ilmele loomulikult järgnevat reaktsiooni ning sünteesib selle põhjal agendi näoilme. Uurimistöös ühendati olemasolevad näoilmete andmekogud uue koguga, mille sisu saadi 60 osalejalt viies erinevas sotsiaalses olukorras. Oluline leid oli, et üksikute näolihaste liikumise analüüsimine võimaldas TI-agendil oma reaktsioone täpsemalt luua kui lähtumine üldistest kategooriatest, nagu «õnnelik» või «kurb».

Veaoht näoilmete tõlgendamisel vähenes ka siis, kui mudeleid treeniti rohkemate kui ainult ühe demograafilise grupi andmetega.

Oluline on eetika

Uus arendus on oluline, sest madala riskiga suhtlussituatsioonides kasutatakse AI-agente üha enam, kuid et suhtlus oleks meeldiv, on oluline ka mitteverbaalne kommunikatsioon. Inimsarnane agent, mis reageerib sobiva näoilmega, mitte eelprogrammeeritud animatsiooniga, võib märkimisväärselt parandada seda, kuidas inimesed neid tehnoloogiaid kogevad. Järgmise sammuna saaks tehnoloogiale lisada arendused, mis hõlmaksid ka häält ja kehakeelt, muutes suhtluse AI-agendi või metainimesega veelgi loomulikumaks.

Turvaliselt ja kooskõlas seadustega

Teadustöös arendati tehisintellekti inimese näoilmeid lugema ja kontekstitundlikult vastama arvestades Euroopa Liidu tehisintellekti määrust (EU AI Act) ja teadlikult kasutamiseks madala riskiga valdkondades, nagu mängudes, kasutajakogemuse uuringutes ja loomingulisteks katsetusteks.

Doktoritöö kaitsmine

Abdallah Hussein Sham kaitses doktorikraadi Tallinna Ülikooli digitehnoloogiate instituudis 15. mail 2026. Tema doktoritöö teema on «Biotagasisidestatult juhitud suhtlus inimtaoliste tehisagentidega»(«Enactive Facial Expression Pipeline for Dyadic Interaction between Humans and Human-Like Agents»).

Doktoritöö juhendajad on Pia Tikka, Tallinna Ülikooli vanemteadur, David Jose Ribeiro Lamas, Tallinna Ülikooli professor ja Gholamreza Anbarjafari, Estonian Busines Schooli külalisprofessor.
Oponendid on Giulio Jacucci, Helsingi Ülikooli professor ja Fernando Loizides, Cardiffi Ülikooli dotsent.

Doktoritöö on kättesaadav TLÜ Akadeemilise Raamatukogu keskkonnas ETERA.