Tehisaruks valmistumine: korras andmehaldus loob eelduse innovatsiooniks

Eesti avaliku sektori asutuste andmebaasidesse ja registritesse on kogunenud hulgaliselt andmeid, mis võivad leida kasutust erinevates avalikes teenustes ja rakendustes. Andmete talletamine ei tähenda aga tingimata nende kasutamist. Samas võivad need andmed osutuda väga vajalikuks mõnele teisele osapoolele. Osa asutuste andmebaasides hoitavatest andmetest ongi tehtud avalikuks ja kättesaadavaks, osale neist on ligipääsemiseks ranged piirangud ja mõnede andmete kohta ei pruugi täpset ülevaadet olla ka valdajal endal. Ülevaade andmetest on siiski paranemas. Seda eelkõige seetõttu, et asutused on hakanud üha enam oma andmeid kirjeldama ning koostama sõnastikke, mille kaudu neid täpsemalt defineeritakse. Nii suureneb asutuste võimekus üksteise andmete paremaks leidmiseks ja jagamiseks, kuid andmekirjelduste taseme paranemisel on väga oluline mõju ka andmete masinmõistetavusele. 

Standardse struktuuriga ja täpselt kirjeldatud andmed ei ole selgemini mõistetavad üksnes inimestele, vaid on ka eelduseks nende kasutamisele masin-masin liidestustes ja tehisaru rakendustes. Kui masin-masin liidestused tagavad andmete automaatse liikumise infosüsteemide vahel, siis tehisaru ja masinõppemudelid võivad lihtsustada andmete seostamist, kirjeldamist, töötlemist ja tõlgendamist. 

Tehisarust on abi, aga kindlatel tingimustel

Tehisaru toimimise aluseks on statistilised tõenäosusmeetodid, mis väga nõudlike küsimuste korral ei pruugi hästi toimida. Selleks, et näiteks keelemudeli vastuse täpsusaste oleks võimalikult tõelähedane, tuleb väga täpselt piiritleda küsimuse kontekst. Kuna aga probleemi võimalikult täpne kirjeldamine võib osutada ajamahukamaks kui vastuse käsitsi väljaotsimine või tuletamine, tuleb tehisaru efektiivseks kasutamiseks suur osa eeltööst teha mujal. Kõigepealt tuleb keelemudelile teha kättesaadavaks olulised algallikad. Kui neis olev teave on tõene, saab ka mudeli tõenäosuslik vastamismehhanism lähtuda õigetest andmetest. 

Arvandmete puhul lisandub generatiivsete keelemudelite rakendamisel täiendav keerukus. Mudelile võib ju anda ligipääsu algandmetele ja need võivad ka olla täpsed ja küllaldased, aga kui andmed ei ole ära kirjeldatud, puudub mudelil teave selle kohta, mida antud numbrilised väärtused tähistavad ja mis juhtudel need kehtivad. Seda isegi siis, kui keelemudel saab väliste tööriistade abil täpsed matemaatilised tehted tehtud. Seega vajab keelemudel – nagu inimenegi – selliste andmete korral midagi, mis võimaldaks viia arvandmed kokku nende tähendusega. Siin teevadki andmekirjeldused eeltöö teise poole ehk annavad keelemudelile sisulisi juhiseid, kuidas algandmeid käsitleda, kasutada ja tõlgendada. 

Põhjalikest andmekirjeldustest on lisaks generatiivsetele keelemudelitele kasu ka teistele masinõppemudelitele. Näiteks üks andmehalduses asjakohane masinõpperakendus on vektoriseerimine. Kuna metaandmed on üldiselt väljendatud loomulikus keeles, põhineb ka vektoriseerimine keelemudelitel. Siin aga ei ennustata järgmisi sõnu ega moodustata lauseid, vaid teisendatakse sõnad ja laused pikkadeks ainulaadseteks numbrijadadeks ehk vektoriteks. Sellised mudelid õpivad kasutuskonteksti alusel ära sõnade ja lausete vahelised semantilised sarnasused ja erinevused. Nii tekivad näiteks sünonüümidele sarnased ja homonüümidele erinevad matemaatilised vektorväärtused. Kui iga tunnus, mille kohta asutustes andmeid kogutakse, on täpselt defineeritud, saab igaühest luua unikaalse vektori, mis matemaatilises ruumis üksteisest kaugemale või lähemale asetuvad. See tehnika loob aluse paljudele erinevatele kasutusrakendustele. 

Statistikaameti esimesed katsetused on olnud edukad

Lisaks statistikaametile, kes andmeid kogudes peab täpselt paika panema nende tähenduse ja konteksti, lähtuvad ka teised riigiasutused andmete kogumisel määrustes kehtestatud nõuetest. Kui statistikaametis on selline metaandmete kirjeldamise etapp statistika tegemise eelduseks, siis teistes asutustes on taoline ettevalmistus olnud pigem soovituslik ja vajaduspõhine, et aidata luua valdkonna-, äri- ja andmesõnastikke. Need sõnastikud kirjeldavad andmetabelitesse kogutud andmeid täpselt defineeritud mõistete, terminite ning nendevaheliste hierarhiliste ja tähenduslike seoste abil. Siin on statistikaamet asutustele pidevalt tuge pakkunud ning meie andmehalduse oivakeskus aitab avaliku sektori andmevõimekust (sh TI-valmidust) edaspidi veelgi süsteemsemalt arendada. Tänaseks ongi metaandmete kirjeldamisel saavutatud piisav valdkondlik standard nii nõuete kui ka kaetuse osas, et nende põhjal saaks luua uuenduslikke kasutusrakendusi. Andmete kirjeldamine jätkub, kuid seni tehtu võimaldab kasutada uuenduslikke võtteid, mis hõlbustaksid märkimisväärselt edasist tööd. 

Näiteks katsetati statistikaameti andmehalduse teenustiimis andmekirjelduste loomiseks nii generatiivseid keelemudeleid kui ka vektorpõhist andmebaasi. Kontrollisime, kuidas toimetada generatiivsete keelemudeliteni vajalik kontekst, mis võimaldaks neil sobivaid andmekirjeldusi soovitada. Projekti tulemused tõestasid kontseptsiooni toimivust ja kasu, ent nägime ka, et tulemuse kvaliteet sõltub sellest, milline on semantiliste ressursside valmiduse tase ning kuidas on üles ehitatud mehhanism, mis teadmuskihist vajaliku konteksti üles leiaks. 

Edasine innovatsioon sõltub asutuste koostööst

Teisalt loob riiklike registriandmete üksikasjalik kaardistamine aluse selleks, et nii statistikaamet kui ka teised asutused saaksid leidlikumalt ja kulutõhusamalt andmeid koguda, jagada ja ristkasutada. Asutuste registrite metaandmeid koondavale teadmuskihile rajatud masinõppe- ja tehisarurakendused annaksid analüütikutele muu hulgas parema ülevaate andmetest enda ja teiste asutuste andmebaasides ning võimaldaksid andmeid paremini seostada ja tõlgendada. Riiklike andmestike puhul saaks koostöö esialgu toimida peamiselt metaandmete tasandil, kuna algandmed ei pruugi olla koheselt kättesaadavad. Seda takistavad kasutus- ja ligipääsuõiguste puudumine, aeglane infovahetus või puudulik ülevaade asutuse andmetest. Parema ülevaate saamisele aitab kaasa riiklik andmekataloog Andmete teabevärav, mis koondab suurt osa riiklikest andmestikest. Andmete teabevärav on oluline juba andmestike keskse sõlmpunktina, kuid selle võimekus suuremat lisaväärtust toota sõltub sinna lisatud andmekirjeldustest, nende sisukusest ning seostest andmestike ja terminitega ehk teadmuskihi paksusest. 

Eelnevalt kirjeldatud tehnoloogiliste ja semantiliste ressursside kõige terviklikum ja integreeritum kasutusrakendus kätkeks nii asjakohast teadmuskihti kui ka kättesaadavaid algandmeid. Sellise lahenduse võimalikkus ja tasuvus sõltub suuresti sellest, mis kontekstis seda kasutada. Asutusesiseselt sõltub lahenduse teostatavus kasutatavate süsteemide keerukusest ja saadavast kasutegurist. Riigiasutuste ülesel kasutusel piiravad lahendust eelmainitud ligipääsuõigused. Riiklike avaandmete puhul ligipääsuõigustega probleeme ei tekiks, küll aga sõltuksid tehnilise lahenduse keerukus ja kulud sellest, mitme asutuse avalikud andmed sellisesse lahendusse soovitakse põimida. 

Statistikaameti avaandmed sobiksid tervikliku lahenduse elluviimiseks hästi, kuna sisaldavad endas suures mahus erisuguseid algandmeid ning erinevatest süsteemidest ja allikatest pärit metaandmeid. Statistikaameti andmekirjelduste tase ja andmete hulk võimaldaksid hästi testida lahenduse võimekust anda loomuliku keele päringutele informatiivseid, täpseid ja erinevaid andmestikke seostavaid vastuseid. Samuti nõuab selline süsteemide ja andmete mitmekesisus paindliku ja kohanemisvõimelise arhitektuuriga lahenduse loomist, mis edasises etapis võib olla sobivaks kasvulavaks teiste asutuste avalike andmestike juurdeliitmiseks. 

Täpsem teave:

Kaia-Liisa Tabri
kommunikatsioonipartner
statistika levi osakond
statistikaamet
tel 5696 6484
press [at] stat.ee (press[at]stat[dot]ee)

Foto: Shutterstock