"Pimeä" historia digitaaliseen muotoon: ArchXAI -hanke ja HTR automaattinen tunnistus

Kun tekoäly on oppinut perusteet, järjestelmä alkaa itse luoda ”opetuskuvia” ja niitä vastaavia tekstejä koulutettavalla kielellä. Nämä eivät ole vain kopioita, vaan algoritmi pyrkii simuloimaan vanhan ajan kirjoitusta niin todenmukaisesti kuin mahdollista: se voi mm. haalistaa tekstejä, lisätä erilaisia musteen leviämisefektejä, paperin kulumista, kynän heilahduksia ja jopa tyypillisiä kirjoitusvirheitä. Myös erilaisten tahrojen ja homekasvuston lisääminen on mahdollista. Paperityyppiä, viivoitettu, ruudukoitu, värisävy voi tottakai myös säätää. Näin saadaan luotua nopeasti paljon erilaista tekstivariaatiota, jota voidaan käyttää täydentämään käsin annotoituja materiaaleja koulutuksessa.

Tämä on kriittistä, sillä se opettaa tekoälylle, että vaikka kirjain olisi hieman sotkuinen tai paperi kellastunut, kyseessä on silti tietty kirjain. Tällä tavalla malli oppii yleistämään osaamistaan ja sietämään paremmin kuvissa esiintyviä vaihteluita.

Tekoälyn ”aivot”: Transformer-mallit

ArchXAI hanke käyttää pohjana Kansallisarkiston kehittämää multicentury-htr mallia, joka puolestaan on jatkokoulutettu Microsoftin trocr mallista. Tässä hyödynnetään niin sanottua Transformer-arkkitehtuuria, joka yksinkertaisesti sanottuna on samaa teknologiaa, joka pyörittää nykyajan suuria kielimalleja (kuten ChatGPT:tä). Tässä tapauksessa se on kuitenkin erikoistettu näkemään ja tulkitsemaan kuvia.

Koulutettu tekoälymalli ei vain katso yksittäisiä kirjaimia, vaan se analysoi tekstin kokonaisuutta ja kielellisiä rakenteita. Se tunnistaa monen vuosisadan aikana kehittyneitä kirjoitustyylejä, jotka ovat tyypillisiä arkistomateriaaleille. Erityistä on se, että vaikka malli on koulutettu pääasiassa suomeksi ja ruotsiksi, se on osoittautunut yllättävän päteväksi myös muissa kielissä ja siitä onkin tehty hankkeen aikana omat mallit myös viron ja latvia kielisille käsinkirjoitukselle. Ensimmäinen julkinen testiversio joka sisältää kaikki mainitut kielet on testattavissa https://demot.memorylab.fi/archxai/latvia-demo-htr/ osoitteessa ja Suomen Kansallisarkiston Huggingface sivustolta voi testata erikseen suomen ja ruotsin sisältävää mallia sekä myös hankkeen aikana toteuttua kyrillisen käsinkirjoituksen tunnistusta. Viron mallin erillinen demo löytyy heidän Huggingface sivustoltaan.

Kuntosali tekoälylle: Supertietokoneet ja hienosäätö

Tällaisien mallien kouluttaminen vaatii valtavasti laskentatehoa. Siksi ArchXAI hyödyntää huippuluokan supertietokoneita, kuten CSC:n LUMI-konetta. Koulutusta voisi tehdä myös perus tietokoneilla, mutta siihen mihin tehokkaalta GPU koneelta menee joitain tunteja, veisi viikkoja tai jopa kuukausia perus CPU tietokoneelta.

Koulutukset tapahtuvat usein ”hienosäädön” (fine-tuning) kautta. Sen sijaan, että tekoäly aloittaisi nollasta, se aloittaa esikoulutetusta mallista, joka osaa jo perusmuotoista käsinkirjoitusta. Tämän jälkeen mallia ”hiotaan” intensiivisesti tietyn kielen tai aikakauden materiaaleilla, kunnes se oppii tunnistamaan juuri kyseiset erikoisuudet. Esimerkiksi kyrillisen aakkoston tunnistuksessa mallia on harjoitettu useissa vaiheissa ja nykyisen koulutuskierroksen CER (Charater Error rate on alle 4 %), eli keskimäärin 96 merkkiä 100 tunnistuu oikein.

Varsinainen HTR vaihe

Ennen kuin tekoäly voi lukea tekstiä, sen on tiedettävä, missä kohdassa kuvaa tekstit ovat. Tämä on prosessin ensimmäinen vaihe eli syötetyn kuvan segmentointi. Erillinen tekoälymalli, joka tämän hankkeen tapauksssa on Kansallisarkiston kouluttama rfdetr-malli, lukee kuvan konenäön avulla ja muodostaa näkymättömät rajat tekstialueiden ja yksittäisten rivien ympärille. Alla oleva kuva visualisoi tämän prosessin tuloksia.