Oled doktoriõppes aastast 2021, küll väikese vaheajaga. Kuidas oled enda jaoks teadustöö mõtte sõnastanud?

Kitsas valdkonnas mingi spetsiifilise probleemi kallal vaevlemine ja lahenduste otsimine, eelduseks selle ala laiem tundmine. 

Õnneks on minu valdkonna doktorandil väga suur vabadus ise probleem valida. Jah, osaliselt sõltub see rahastusallikast, aga praktikas olen alati saanud tegeleda just nende teemadega, mis mind huvitavad ja on ühtlasi praktilised. Arvestatav osa mu väljundist ongi läinud praktilisse kasutusse, näiteks kõnetuvastuse teenus Tekstiks.ee ja vabavaraline kõnetuvastuse tarkvara Jutukuva.

Sellel aastal oleme ideede katalüsaatorina kasutanud võistlusi. Need on konkreetsed probleemid meile lausa kandikul ette toonud. Hiljuti ehitasin tarkvara kirjeldustõlkidele ja vaegkuuljatele. Nii muutub reaalajaline kõnetuvastusmudel otseselt kasulikuks.

Oli teadlaseks saamine juba su lapsepõlveunistus?

Seda mitte. Aga kuna mu vanemad olid mõlemad kõrgharidusega, teadsin alati, et ülikooli pean minema. Mul võttis lihtsalt aega, et oma eriala leida.

Isa kaudu olin juba väiksena puutunud kokku arvutitega, nii maandusingi pärast keskkooli IT kolledžis, aga püsisin seal ainult ühe aasta. Seejärel läksin Tartu Ülikooli, õppisin majandust, hiljem psühholoogiat. Lõpetasingi psühholoogia bakalaureuse. Lõpuks asusin siiski IT-tööle.

Kaheksa aastat hiljem jõudsin taas ülikooli, seekord TalTechi. Valisin magistritööks väga praktilise kõnetuvastuse platvormi, mis nüüd, seitse aastat hiljem, on Tekstiks.ee veebilehel kõigile kättesaadav.

Selle tulemusena kutsus mu juhendaja professor Tanel Arumäe mind ülikooli ning poolteist aastat pärast magistriõppe lõpetamist tulin doktorandina TalTechi tagasi. Alles siis tekkis tõsine huvi teadust teha.

Miks magistriõpinguteni nii kaua läks?

Töötasin aastaid tarkvaraarendusprojektides analüütikuna, olin vahelüli tellijate ja programmeerijate vahel. Ajapikku sain aga aru, et tahaksin rohkem teada sellest, kuidas tarkvara tegelikult tehakse. Hakkasin ennast harima ja samas tundsin ka, et äkki see eriala kaob hoopis ära … Ma ei soovinud jääda ühte rolli, tahtsin avardada oma arusaamu, rohkendada kompetentse. Nii tulingi magistriõppesse, et saada võib-olla programmeerijaks, teha väike kannapööre.

Kuidas TalTechist saadud haridust hindad?

Magistriõpingud oli minu jaoks esimene kord, kus ülikooli tõeliselt nautisin! Suutsin õpingud seostada oma seniste kogemustega, see tundus väga põnev. Tõsi, ma ei saanud kohe informaatikasse astuda, sest mul polnud reaalainete bakalaureust. Tulin äriinfotehnoloogiasse ja pärast esimest semestrit vahetasin eriala. Töö kõrvalt õnnestus õpingud lõpetada nominaalaja ehk kahe aastaga. Ja cum laude’ga.

Räägitakse, et IT-s on hästi suured palgad ja ülikoolis ei ole. Oled sissetulekus kõvasti kaotanud?

Ei, minu palk ei olnud varem märkimisväärselt suurem kui nüüd doktorandina. Ma ei pidanud doktorandiks tulles oma elus midagi muutma.

Kõnetuvastus, millega tegeled, tundub esmapilgul lihtne: paneme seadme salvestama, ta tuvastab kõne, muudab selle tekstiks. Nii, nagu me vesteldes praegugi teeme. Mis seal siis keerulist on?

Keeruline on tehisintellekti (TI) pool. Meie valdkonnas on üle mindud mudelitele, mida treenitakse algusest lõpuni puhtalt andmete pealt. See eeldab ühelt poolt häid andmeid, teisalt sobivat arhitektuuri, mis on nendel andmetel hästi treenitav. Sageli kasutame mudeleid, mida on treenitud teistel keeltel.

Kui tulin doktorantuuri, oli väga suur probleem, et eesti keeles kõneldes kiputakse inglise keelt vahele rääkima, võõrväljendeid kasutama, hääldades neid vahel eesti-, vahel inglispäraselt. Nüüd on mitme keele peal eeltreenitud mudelid selle takistuse peaaegu kaotanud. Mudel ise teab, millal peab millise keele sõnavara kasutama.

Tegeleme ka sellega, et mudel mõistaks, et räägib erinev kõneleja. See aitab ühtlasi kõnetuvastuse kvaliteeti parandada. Ka Tekstiks.ee on võimeline välja tooma, millal rääkis üks, millal teine. Selles valdkonnas võitsime hiljuti ühe võistluse, kus oligi eesmärk ennustada keelt või seda, kas keel on samas vestluses jäänud samaks. Meie teemad on ka teksti struktureerimine, kohandamine lõppotstarbe jaoks, subtiitrid.

Nii et kui me praegu vestleme, siis salvestav seade eristab minu kui küsija ja sinu kui vastaja?

Kui süsteemile ette öelda, et kõnelejaid on kaks, on ta täpsem. Igal juhul üritab ta heli tükke rühmitada sarnasteks hulkadeks, ennustab, et mitu kõnelejat võis olla ja jagab helitükid siis kõnelejate vahel.

Oma töös keskendute eelkõige eesti keelele?

Mitte tingimata. Tihti aitab ka publitseerimisele kaasa, kui oleme teinud midagi, mis ei tööta ainult eesti keelel, vaid on laiemalt kasulik.

Aga kui suudame tehisintellektiga suhelda eesti keeles, peame vähem kasutama inglise või mõnda muud keelt, milles nn kommertslikud tooted on paremad. Suurte korporatsioonide fookuses ei ole ju keel, millel on alla miljoni kõneleja. Peame ise pingutama, et meil oleksid eesti keelel toimivad alternatiivid, et meie keelt saaks rohkem kasutada.

Olen labori juhataja Tanel Alumäega ühte meelt, et peaksime ise panustama, et eestikeelsed treeningandmed oleksids tasuta või mõistliku tasu eest lihtsasti kättesaadavad. Sest suured ettevõtted, kes ei võta meie keelt prioriteedina, lisavad eesti keele toe, kui andmed on kättesaadavad. Ka Tartu Ülikoolis ollakse samal seisukohal. 

Missugused need treeningandmed on? Kust nad pärinevad?

Kõnetuvastuse puhul on see heli või tekstiga kõrvutatud heli, kusjuures tekst võib olla sõna, aga ka hääliku täpsusega. Siis tõlkekorpused, kus näiteks ingliskeelne tekst ja kõrval eestikeelne tõlge. Ka paljude muude keeletehnoloogia probleemidega tegelemiseks on omad võrdluskorpused. Teatud otstarbeks sobib juba see, kui on lihtsalt heli, teisel juhul lihtsalt tekst. Kolmandaks on hea, kui heli ja tekst on omavahel joondatud. Meie ise toetume vägagi palju ETV arhiivile.

Andmed ei pea tingimata olema tasuta kättesaadavad, aga kui neid saaks mõistliku ja kindla tasu eest kasutada, oleks huvilisi palju. Muidu andmeid lihtsalt kaevandatakse internetist – kui need vähegi leitavad on – ja kasutatakse ikkagi.

Mida kõnetuvastatud tekstiga edasi teha? Meie intervjuu läheb ajakirja Mente et Manu, aga kõik muu?

Mõnes mõttes on see teema samm edasi sellest, millele oleme keskendunud ehk siis kõnetuvastusest. Tihti on vaja teha koosoleku kokkuvõte, teha järeldusi sellest, mida räägiti. Tõsi, niisuguste kokkuvõtete tegemine, mis oli varem keeruline uurimisvaldkond, on suurte keelemudelite arenguga peaaegu lahendatud. Küll saab kokkuvõtteid veel paremaks timmida täiendava treenimisega, kuid sageli pole see enam õigustatud.

Igasugu subtiitreid suudame helile või videole lisada, kasvõi selleks, et andmed oleksid kuulmispuudega inimestele kättesaadavad. Ülikoolis saavad loengud sel moel alternatiivselt tarbitavaks, näiteks neile, kelle eesti keel ei ole veel nii hea. Ühesõnaga, kui tekst on palju lihtsamini otsitavam, töödeldavam, kiiremini haaratavam, kui heli saab tekstiks pöörata väga hea täpsusega, on sellel palju otstarbeid.

Et kaitsta doktoritööd, peab see olema unikaalne. Samas töötab siinsamas Tehnikaülikoolis sinu valdkonnas rohkelt teadlasi, lisaks Tartus, tegelikult üle terve maailma. Kui lihtne on niisugustes tingimustes uut luua või kui raske tõeliselt uut luua?

Meie valdkond on pidevalt tõelises muutumises, teatud uurimisvaldkonnad võivad kiiresti tekkida ja ka kaduda. Kasvõi seesama kõnetuvastus, meie labori põhifookus – juba suudavad suurte keelte mudelid võtta sisendina nii teksti, heli, pilti kui ka videot. Ja teevad seda nii hästi, et varsti võib-olla ei olegi eraldi kõnetuvastuse moodulit vaja.

Siiski näen, et väga pikaks ajaks jäävad n-ö väikesed kõnetuvastuse tükid palju efektiivsemaks just siis, kui töötada nendega eesti või mõnes muus väiksemas keeles ja oma arvutis või mobiilis.

Publitseerimine on sellises virvarris ilmselt ka raskendatud?

Ühe minu artikli avaldamiseks läks kolm aastat. Tihti võib aga aasta või isegi pool olla juba liiga pikk aeg, valdkond on edasi liikunud, keegi teine selle probleemi lahendanud.

Õnneks on meil TalTechis arvutusvõimsust, ka Tartus. Ja meil on ligipääs LUMI superarvutile. Jah, me ei hakka siin päris suuri keelemudeleid algusest peale treenima, mõne probleemiga me ei saagi tegeleda. Samas on ka valdkondi, mis pole eesti keele kesksed, aga milles saame olla väga head. Aastate jooksul edukas võistlustel osalemine näitab, et suudame leida unikaalseid lahendusi.

Kogu teadusvaldkond ongi väga kaldu uuenduslikkuse poole. Kellegi teise tehtud avastuse kordamisel pole sisulist väärtust. Sa pead kogu aeg midagi uut välja mõtlema, avaldama. Ja see, et meie teadlastel õnnestub ikka avaldada, näitab, et TalTechis tehakse midagi olulist.

Kui kaugel su enda doktorikraad on?

Mul oli varasemast kaks vastuvõetud artiklit, siis aga ebaõnnestus järjest neli esitamist. Nüüd mul õnnestus nelja kuuga esitada neli artiklit ja esialgse info põhjal tundub, et vähemasti kolm neist võetakse vastu. Aga taas häda – need on liiga erinevad! Doktoritöö lõpetamiseks on vaja kolme seotud artiklit, nii et mul on tõenäoliselt ühte veel vaja … Seega jah, olen lõpusirgel, aga lõputööd veel ei kirjuta.

Ka doktoritöö teema on mitu korda muutunud. On see pigem hea või halb?

See on täiesti paratamatu. Aastal 2021 ei saanudki ma seada seda sihti nagu praegu. Probleem, mida teha siis, kui eesti keeles kõneleja pikib vahele ingliskeelset teksti, on lahenenud. Sellega edasi tegeleda olnuks tarbetu. See-eest saan nüüd töö kiirendamiseks kasutada suuri keelemudeleid. See muutis täielikult mu ambitsiooni ehk seda, mida ma kas üksinda või väikese tiimiga teha suudan. 

Milline roll on juhendajal?

Eestil on vedanud, et meil on professor Tanel Alumäe, kes on nii pikalt selles valdkonnas tegut­senud, kõnetuvastust aina paremaks muutnud ega ole midagi pooleli jättes mõne ettevõtte palgale läinud.

Meil on loodud võimalus uurida probleeme, katsetada ideid, mis tunduvad vähegi asjakohased. Ja samas on juhendaja alati nõu andmas või konverentsidel käimist toetamas.

Mul on olnud väga suur privileeg töötada sedavõrd kompetentse professori all. Kui mul on küsimusi, valin mingi suuna või kirjutame koos artiklit, saan temalt enamasti hinnangu, kas üldse tasub selles suunas minna. See on ära hoidnud palju mõttetut rapsimist – doktorant vajabki tippteadusega täiesti kursis olevalt juhendajalt kiiret tagasisidet, et ta ei liiguks liiga pikalt vales suunas.

Tanel Alumäele sobivad ettevõtlikud doktorandid, üldse töötajad, kellel on tugev isiklik huvi asju uurida, paremaks teha. Ka mina ei tegele ainult ühe artikliga, vaid treenin veel paari mudelit, muudan asju paremaks. Sageli mul on kolm-neli tööd korraga käsil, lihtsalt isiklikust huvist, mitte sellepärast, et doktoritöö kiiremini ära teha.

Pettumusteta pole pääsenud ka sina.

Mu algne suund oli teha midagi kahe teadusvaldkonna vahel, arendasin koostööd Tallinna Ülikooli teadlastega inimese ja arvuti interaktsiooni alalt. Töö pidi ühendama keeletehnoloogia ja kasutama osalusdisaini meetodit. See ebaõnnestus, ma ei mõistnud toda valdkonda piisavalt, kasutasime kvalitatiivseid meetodeid, aga need pole minu valdkonnas tüüpilised. Tulemus oli, et kummalgi pool ei tuntud meie töö vastu huvi. Võtsin selle järel väikese mõtlemispausi. Aga olen taas siin, nüüd juba suhteliselt suure ebaõnnestumiste ja õnnestumiste pagasiga.

Kuidas paistab sulle kraadi kaitsmise järgne tulevik?

Mulle pakub mu valdkond üha rohkem huvi, näen, et seda on tõesti tarvis. Toon näiteks needsamad koosolekud, transkriptsioonid ja kokkuvõtted mitmes valdkonnas, olgu selleks siis meditsiin või juriidika, riigiasutused, kus ei tohi kasutada mujal majutatud suuri keelemudeleid ja pilveteenuseid. Seal oleks vaja erialaseid lahendusi, mis töötaks eesti keelel.

Siis veel kõnesüntees ehk tehiskõne. Nüüd kõlab see juba nagu eestlane räägiks, pealegi erineva häälega. Aga siin on ka omad ohud, millest võime lugeda ajakirjanduse krimikülgedelt.

Kui ma ka mõne aasta pärast enam ülikoolis ei tööta, jääb mu tulevik ikka teadusega seotuks. Kindlasti kasutan teaduslikke meetodeid ja mõõtmisi, et objektiivselt hinnata, kas midagi läks paremaks. Võib-olla teen seda mõnes ettevõttes, võib-olla isegi enda omas.

Oled väitnud, et tehisaru ei asenda mõtlemist, vaid võib seda ainult võimendada.

Jah, tänapäeval teeb tehisaru teatud asjad palju lihtsamaks, aga seda vaid niikaua, kuni ise kaasa mõtled, samal ajal õpid, lased kasvõi tehisarul endale midagi õpetada. Siis sa suudad õppida kiiremini, saad üle nendestki asjadest, mis algul tunduvad keerulised. Arvan, et ma oleksin ka ise oma teekonnal IT-sse jõudnud varem, kui mu kõrval olnuks keegi, kes rasked küsimused selgeks teeb. Näiteks tehisaru.

Mul oli hiljuti vaja kirjutada kakssada sõna inglise keeles, milles suured keelemudelid peaks olema väga võimekad. Aga mul läks vähemalt kuus tundi, et neid kahtsadat sõna viimistleda. Jah, tehisintellekt aitab leida infot, fakte, korrigeerib keelt. Aga kui sa lased tal lihtsalt kirjutada, annad vajaliku info ette, võib ta igas lauses kirjutada ikkagi seda, mis tundub talle tõenäoline. Sest keelemudelid ongi treenitud ennustama järgmist kõige tõenäolisemat sõna. Tihti ei taipa nad minna fakte kontrollima, kirjutavad teistmoodi, kui seda teeks inimene. Nad ei hinda välja toomist väärivaks sama, mida hindame meie.

Küll tundub mulle koodi kirjutamisel hea, kui süsteem mõtleb teistmoodi kui mina. Me täiendame üksteist. Tehisintellekt on ju lihtsalt töövahend, mis aitab asju kiiremini teha. Talle peab andma täpse suuna, loodut kontrollima, valideerima. Teda peab pidevalt suunama, sest ta jookseb üliinimlikul kiirusel ühes suunas, toodab koodi meeletu kiirusega, aga kui ta kihutab vales suunas …

Neile, kes säilitavad mõtlemisvõime ja suhtuvad kriitilisest sellesse, mida TI vahendid toodavad, võib ta olla väga suureks abiks. Aga need, kes muutuvad liiga mugavaks ja usaldavaks, võivad sattuda eksiteele, kontrollimata infot levitades lausa häbiväärsesse olukorda.

Usalda, kuid kontrolli – see ütlus on taas asjakohane.

Paraku jah, suured keelemudelid on sellise arhitektuuriga, et mõtlevad ise asju välja ega kontrolli alati fakte. Neid on küll üha enam võimalik suunata oma väljundit üle vaatama, aga veel ei ole näha, et inimese saaks siin kõrvale heita.

Hiljuti tegime ühe katse ja kirjutasime sellest teadusartikli. Lasime tehisaruagendil etteantud metoodika ja andmete põhjal teha järeldused, palusime neid võrrelda ja mitmel korral ümber teha. Jah, me jõudsime niiviisi lõpptulemuseni palju kiiremini. Aga ikkagi vajasime eksperti, kes kogu väljundi üle vaataks, et lõpptulemus oleks selline, millele meie teadlastena oleme valmis oma nimed alla panema. Teisisõnu ütlema, et jah, tulemus on niisugune, milleni ise oleksime ka n-ö täiesti käsitsi jõudnud, võib-olla lihtsalt paar nädalat hiljem.

Kuidas on võimalik, et inimene on meisterdanud midagi, mis ei mõtle sugugi nii nagu tema ise?

Tehisaru meenutab küll lahenduselt seda, kuidas aju arhitektuur võiks välja näha, aga ta on ikkagi väga lihtsustatud vorm sellest. Tõsi, neid treenitakse näidetega, kuidas inimesed kirjutavad, kuidas koodi kirjutavad, kuidas disainivad. Neid peenhäälestatakse kõvasti, et tulemus inimestele meeldiks, vastaks seatud kvaliteedile. Aga põhimõtteliselt töötavad nad ikka nii, nagu inimesed ei tööta. Need statistilised-matemaatilised mudelid võtavad üks sõna korraga, ennustavad järgmist sõna kogu varasema konteksti alusel. Inimene aga ei suuda töötada nii, et talle antakse ülesanne ja juhis, kuidas seda ülesannet lahendada, ja siis ta ainult lähtubki nendest. Inimene ehitab väga väheste kogemuste alusel endale mingi arusaama maailmast, sellest, kuidas asjad toimivad.

Kuhu me TI abil teel oleme?

Arvutiga hääle abil rääkimine on juba väga mõistlik. Võib-olla mitte terve päeva vältel, et oma häält liigselt väsitada, aga kõnetuvastus on ingliskeelsetesse TI-vahenditesse juba sisse ehitatud. Aega säästa aitab see kindlasti.

Eks TI valdkond otsib pidevalt uusi rakendusvõimalusi, et õigustada andmekeskuste ehitamist, suurt treenimist ja kogu kulu. Kindlasti hakatakse seda kasutama aina rohkem. Aga paljudes valdkondades on see raske, kuna pole tagasisidestamise võimalust, hästi kättesaadavaid andmeid. Pealegi pole neil, kes mudeleid treenivad, nendes valdkondades ekspertiisi. Nad ostavad treeningandmed kusagilt sisse …

Ja siiski saabub päev, millal tehisaru su eest kõik ära teeb.

Praegugi on väga raske üldse aru saada, mis võimalik on. Aga mind huvitab eelkõige just see, mis on hetkel võimalik. Arvan, et olen Tehnikaülikoolis üks suuremaid TI kasutajaid.

Me peamegi õppima neid asju kasutama, tunnistama, et nad töötavadki täiesti teistmoodi, ei saa ise oma vigadest aru. Tehisaru on ilma igasuguse mäluta, iga päev nagu uus. Põhimõtteliselt algab iga vestlus temaga puhtalt lehelt. Iga päring, mis ta teeb, võib toimuda hoopis teises andmekeskuses, kus tulemust talletatakse võib-olla ainult viis minutit või üks tund. Pärast seda on see kõik läinud. Harjumine, millisel hetkel või alal sa saad seda usaldada ja millal mitte, võtab päris palju aega, nõuab kogemust.

Loob TI sinu hinnangul veelgi olulisema konkurentsieelise suurematele? Või vastupidi – väiksem on nüüd võrdsem?

Kindlasti on üksi või väikese tiimiga võimalik tehisintellekti abil palju rohkem ära teha. Eriti varases faasis, kui alles mõtled uut toodet luua, soovid aru saada, mis on mis, millist teenust oleks kasulik pakkuda. Siis saad otsekui kesktasemel eksperdi käest nõu küsida või talle ülesandeid delegeerida ega pea väikeses ettevõttes kohe kõiki rolle mehitama.

Kui oled julge, siis lased tal luua juriidilised dokumendid, koostada valdkonna analüüse, teha toodete prototüüpe – ja seda küllalt kiiresti. Kui sul on hiljem vaja head kvaliteeti, palkad tõenäoliselt eksperdi. Kasvõi turundussõnumite jaoks, sest kõik ju saavad aru, kui oled tehisaru kasutanud.

Mulle endale meeldibki tehisaru just prototüüpimise ja katsetamise faasis. Teen ju tihti asju, milles ma ei ole veel täiesti kompetentne. Siis saan tehisarult nõu küsida. Tema teeb minu eest mitu sammu, hiljem saan otsustada, kas see suund on mõistlik või mitte. Mina saan paljut kiiresti katsetada ja siis otsustada, kas ma tahan millestki veel rohkem teada saada, kas see on mulle oluline. Siis ma kas muudan tulemuse paremaks või jätan samasuguseks, nagu tehisaru selle tegi, ja keskendun millegi muule. Minu töös kulub eksperimenteerimisele niiviisi palju vähem aega. Ja sama põhimõtet saab rakendada ka äris.

Anna üks soovitus ka tänastele lõpetajatele.

Soovitan lõpetajatel mitte karta oma teed muuta ega uuesti õppima hakata. Uued tööriistad, eriti tehisaru, võivad olla väga suureks abiks, aga ainult siis, kui säilitate kriitilise mõtlemise. Kasutage neid julgelt, kuid ärge usaldage pimesi. Edu tuleb uudishimust, katsetamisest ja soovist päriselt aru saada, mida teete. 

Artikkel ilmus Tehnikaülikooli ajakirjas Mente et Manu.