Suomi24-moderointia hoitava Utopia Analytics: Pystymme hahmottamaan laadukkaat keskustelukommentit paremmin kuin ihminen

Jaa kaverilleTilaa Seura
© Kuvakaappaus Suomi24-sivustolta

Keskustelupalstojen, sosiaalisen median kanavien ja verkkokommentointien sävy on raaistunut jo vuosien ajan, mutta onko syynä ihmisten puhetavan muutos vai palstojen moderaattoreiden turtuminen?
Jatkuvaa öyhötekstiä lukevien ihmisten sietokyky kasvaa, ja he alkavat tahtomattaankin vähitellen sallia valvomillaan palstoilla kovempaa kieltä.

Muistan tämän itse hyvin niiltä Kreikan eurokriisin ajoilta, kun tein Taloussanomia jonka kommenttipalstat olivat jälkimoderoituja. Kun luki kymmenen Kreikka-takuutuksien innostamaa ”virkamiehet ja Jutta saunantaakke” -kommenttia, se yhdestoista jossa vain kiroiltiin, tuntuikin niihin muihin verrattuna ihan siedettävältä kieleltä.

Tekoälyn piti olla tähän puolueeton ja tehokkain ratkaisu. Moderointiohjelma pystyy mainospuheiden perusteella skannaamaan palstoille tulevat kommentit ihmissilmää nopeammin, ja ratkaisemaan onko viesti asiallinen vai ei.

Ilmeisesti näin ei kuitenkaan ole. Tällä viikolla Yleisradio kertoi, että se siirtää uutistensa kommenttien moderoinnin Suomen Tietotoimistolle.

Tämänhetkinen Ylen käyttämä, yksityiseltä yritykseltä hankittu tekoälyohjelma ei ole ollut tarpeeksi pätevä havaitsemaan muun muassa ironiaa, sarkasmia ja vivahteita – se on joko torpannut nämä tai päästänyt läpi suoraa pilkkaa ja kiusantekoa.

Ylen mukaan suomenkielen rikkaiden vivahteiden tajua ei voi ymmärtää muu kuin ihminen, eikä laadukasta keskustelua synny muuten kuin ihmisten valvomana.

Utopia Analytics: Ylellä oli vain väärä ohjelmisto

Moderointiohjelmien Suomen-markkinajohtaja, Utopia Analytics -yhtiö on tästä eri mieltä.

”Tässä tehdään oletus, että maailmassa on vain yksi tekoäly, joka joko osaa moderoida tai ei osaa. Oletus on yhtä kummallinen kuin jos sanoisi, että viime vuonna ostamani Ford on umpisurkea kaarreajossa, joten kaikki maailman autot ja automerkit ovat täysin kykenemättömiä kaarteissa. YLE on ostanut tietyn yrityksen tekoälyohjelmiston ja vaikka kyseinen ohjelmisto ei toimi YLE:n toivomalla tavalla, se ei tarkoita, etteikö maailmassa olisi useita muita ohjelmistoja, jotka pystyvät hahmottamaan keskustelun sävyjä tai kommentteja aiheen vierestä, myös suomenkielellä ja Yleisradion datalla”, Utopia Analyticsin toimitusjohtaja Mari-Sanna Paukkeri kertoo Tolkun Henkilölle lähettämässään sähköpostissa.

Svenska Yle käytti moderoinnissaan jokunen vuosi sitten Utopian vanhempaa tekoälyohjelmistoa, mutta Yleisradion suomenkieliselle puolelle Utopia ei ole saanut palveluitaan myytyä.

Utopia on valvonut muun muassa Aller-yhtiön entisen  Suomi24-palstan keskusteluita. Aller myi Suomi24-alustan vuodenvaihteessa kehitysyhtiö City Digital Groupille.

Kuvakaappauksia Suomi24-palstalta

Pienenkin otannan perusteella Utopian Suomi24-moderointi näyttää päästäneen säännöllisesti sivuston keskusteluihin huorittelua, uhkailuja, solvaamista, törkeilyä, naisvihaa, vainonlietsontaa, perättömiä väitteitä, yhteiskuntarauhaa vastaan tarkoitettua huhunlevittämistä, saastaa ja sakeutta.

Törkeää kieltenkäyttöä löytää etenkin maahanmuutto-, MV-sivusto- ja Venäjä-aiheisista keskusteluista. Venäjän toimintaa ja kansalliskiihkoisia näkemyksiä puolustavia kommentteja on keskusteluissa huomattavan paljon. Näiden vastustajienkaan törkykieltä ei juuri siivoilla.

Vaikka tällaiset viestit näyttävät läpäisevän Utopian filtteröinnin, yhtiö pitää silti ohjelmistonsa toimintaa onnistuneena.

”Utopian moderointiohjelmisto pystyy jopa ihmistä paremmin hahmottamaan laadukkaat kommentit: analyysiemme perusteella ihmismoderoijien välillä on tyypillisesti paljon suurempia eroja kuin ihmismoderoijien ja Utopian moderointiohjelmiston välillä,” toimitusjohtaja Paukkeri kertoo.

© Kuvakaappaus Suomi24-palstalta

Kun Paukkerille näyttää oheisia kuvakaappauksia, vastaus tulee varmasti.

”Screenshotissasi näkyy Suomi24:n järjestelmä, ei Utopian järjestelmä. Sitä, miksi tällaiset viestit ovat mahdollisesti heidän sivustollaan olleet, pitää kysyä Suomi24:lta.”

Kysyimme. Aller ei vastannut menneistä, mutta uusi omistaja City Digital Group kommentoi auliisti. Syynä on suomen vaikeus: tekoälyn opettaminen kaikkiin kielenväännöksiin, slangilla tai murteella kirjoitettuihin härskiyksiin vie aikaa.

”Tekoäly ei tässäkään tapauksessa osaa tunnistaa kaikkea tekstiä. Siksi meilläkin on ihmisiä töissä ja poistamme aiheettomat viestit jälkimoderoimalla eli ilmiantojen perusteella”, kertoo Cityn johtaja Ilkka Lavas.

Ihminen voi torpata häirikön – Utopia ei sitä aio tehdä

Tekoälyn puolueettomuutta mainostavat muistuttavat, miten ihmismoderoija voi esimerkiksi olla ennakkoluuloinen jotain verkkokeskustelijaa kohtaan. Jos sama nimimerkki on aiemmin käyttäytynyt palstalla huonosti, moderoija voi torpata hänet vaikka hän yrittäisi myöhemmin keskustella asiallisestikin.

Tätä Paukkeri pitää ongelmallisena.

”Utopian lähtökohta moderoinnissa on, että tekoälyn tuottama moderointipäätös tehdään ainostaan kommenttisisällön ja sen kontekstin perusteella, eikä moderointipäätöksissä käytetä hyväksi kommentin kirjoittajan demografiatietoja tai henkilön aiempaa käyttäytymistä. Haluamme, että tietynlainen kommentti tietyssä kontekstissa moderoidaan aina samalla tavalla, riippumatta siitä, kuka kommentin kirjoitti”, Mari-Sanna Paukkeri sanoo.

Kuvakaappaus Suomi24-palstalta

Tolkun Henkilö ihmetteli, eikö tämä tarkoita sitä että häiriköt saavat pysyteltyä linjoilla rajattomiin, kunhan vain välillä postaavat jotain järkevää?

Näin on, Paukkeri kertoo. On kuulemma asiakasyrityksen oma valinta, haluaako se päästä eroon tietyntyylisistä keskustelijoista vai ei, mutta Utopian tekoäly ei sitä päätä.

Paukkerin mukaan Utopialla on oma eettisten toimintatapojen linjauksensa.

Tohtori ja poliisi perustajina

Utopia Analyticsin perustivat 2014 tekniikan tohtori Paukkeri sekä perussuomalaisten kansanedustaja, entinen Helsingin poliisin komisario Tom Packalén. Yhtiön hallitusta johtaa Packalén.
Tekstianalytiikasta ja koneoppimisesta väitöskirjansa tehnyt Paukkeri pitäytyy julkisuudessa tiukasti tekniikkakysymyksissä, eikä puhu politiikkaa.

Yhtiötä on verrattu brittiläiseen  Cambridge Analytica -tiedonkeruufirmaan, mutta niin selviä poliittisen vallankäytön työkaluja ei sen valikoimista ainakaan vielä löydy.

Toki yhtiöllä on valvomiensa Suomi24:n, Tori.fi:n ja lasten yhteisöpalsta Momion kautta aitiopaikka suomalaiseen verkkokeskusteluun: sen analytiikka luotaa tarkasti mitkä aiheet milloinkin puhuttavat suomalaisia aikuisia sekä lapsia, tai millä tavalla ihmiset vapaa-aikanaan mitäkin ostavat ja myyvät.

Vuonna 2018 yhtiö teki 380000 euron liikevaihdolla noin 100000 euron tappiot. Kasvua oli kuitenkin edellisvuodesta nelisenkymmentä prosenttia.

Viime syksynä Utopia kertoi myyneensä moderointiohjelmistonsa muun muassa brasilialaisen verkkomediajätti Universo Onlinen käyttöön. Brasiliassa Utopia pääsee moderoimaan 98 miljoonan kuukausittaisen verkkokävijän käyttäytymistä.

Mutta onko Utopian vastuulla, jos sen filtteröimillä keskustelualustoilla julkaistaan ja levitetään tekoälyseulonnasta huolimatta väärää tietoa tai lietsotaan yhteiskunnallista eripuraa?

Ei, ainakaan jos yhtiöltä kysytään. Vastuu on julkaisijalla. Toinen asia sitten on, jos julkaisija on luottanut siihen, että kallis tekoälymoderointi pelastaa heidät esimerkiksi kunnianloukkauskäräjiltä.

Todennäköisesti Utopia Analyticsille on aika tavalla sama, kuka sen palveluita käyttää tai mitä päätöksiä asiakas tekoälyn avittamana tekee. Vastuuhan on joka tapauksessa asiakkaalla.

Kuten toimitusjohtaja Mari-Sanna Paukkeri asian meille ilmaisee:

”Mikäli asiakasyrityksemme eivät käyttäisi Utopia AI Moderatoria, olisivat monet netin palvelut nykyistä huonommassa jamassa.”

Se onkin itse asiassa aika pelottava ajatus, kun nykytilakin on mitä on.

 

******

Juttua muokattu 27.1.2020 klo 14:09, julkaistu yhtiön oheinen vastine sellaisenaan:

Utopia Analyticsin vastine:

Seura on julkaissut 22.1.2020 sivuillaan blogin, jossa esitetään Utopia Analyticsin tuotteita ja toimintaa koskevia virheellisiä väittämiä.

Blogijutussa väitetään, että Utopian moderointi päästää eräälle sivustolle huorittelua, uhkailuja, naisvihaa ja muuta törkyä. Tosiasiassa kyseessä ei ole Utopian moderointi, vaan sivuston oma moderointi, kuten Seuran toimittajalle on selkeästi ilmaistu.

Hänelle myös kerrottiin, ettei Utopia voi vaikuttaa asiakkaan moderointilinjaan: Utopian tekoäly oppii asiakkaan moderointilinjan ja noudattaa sitä.

Utopia on kehottanut Seuraa kysymään nettisivun julkaisijalta Suomi24:ltä, miksi sivustolta löytyy törkyä.

Seura on suhtautunut nettisivun vastuuhenkilöltä saamaansa vastaukseen kritiikittömästi ja virheellisesti päätellyt, että vika on pelkästään tekoälyssä.

Esimerkiksi huorittelu on selkeää kielenkäyttöä ja siksi tekoälylle hyvin yksinkertaista tunnistaa opittujen esimerkkien perusteella. Tämän ymmärtäminen kuuluu yleissivistykseen.
Seuran olisi pitänyt selvittää asiaa laajemmin esimerkiksi kysymällä tekoälymoderoinnin toimivuudesta muilta julkisessa tiedossa olevilta Utopian asiakkailta.

Seura on vedonnut siihen, että kyseessä oli toimittajan blogi, jossa voi julkaista mielipiteellistä aineistoa. Twitterissä Seura on kuitenkin mainostanut em. julkaisua selvityksenä. Esimerkiksi Ylen toimittaja on jo televisiossa viitannut Seuran blogiin asiallisena journalistisena tutkimustyönä. Utopialle on näin koitunut Seuran virheestä suurta vahinkoa.

Jutussa väitettiin edelleen virheellisesti, että Utopia olisi rinnastettu pahamaineiseen Cambridge Analytica -yhtiöön. Jutussa ei kuitenkaan kerrottu, millä perusteella ja kuka rinnastuksen olisi tehnyt. Virheellinen rinnastus aiheuttaa Utopialle haittaa, eikä toimittaja kysynyt Utopian kommenttia väitteeseen. 

Toimittaja jätti myös kertomatta, että hän kyseessä on itse asiassa haastattelu, kun lähestyi Utopian edustajaa sähköpostilla.

Edelleen toimittaja kertoi vasta jälkikäteen, että aikoo käyttää vastauksia blogissa, johon Seuran vastauksen perusteella eivät päde uutisjuttujen journalistiset säännöt. Haastateltavan oikeuksia on näin loukattu, ehkä yleisönkin, kun blogitekstissä ei ole isolla leimaa, jossa irtisanoudutaan vastuullisesta journalismista.

Utopia pyytää Seuraa oikaisemaan virheelliset väitteet ja esittämään ratkaisuehdotuksen siihen, miten haastateltavan oikeuksien loukkaus hyvitetään.

Kirjoittaja: Janne Huuskonen
Director, Marketing and Communications, Utopia Analytics

X