Miten tekoälytunnistimet toimivat ja miksi ne erehtyvät?

Tekoälytunnistin ei lue tekstistä tekijää vaan laskee, kuinka paljon teksti muistuttaa koneen tuottamaa kieltä. Tulos on tilastollinen arvio, ei todiste. Tunnistin voi leimata ihmisen kirjoittaman tekstin koneelliseksi ja jättää muokatun tekoälytekstin huomaamatta. Yksin pisteluku ei saa ratkaista kenenkään asiaa: tarvitaan luonnosversiot, muutoshistoria ja keskustelu.

Lyhyt vastaus: mitä tekoälytunnistin oikeasti tekee?

Tekoälytunnistin vertaa liitettyä tekstiä tilastollisiin piirteisiin, jotka ovat tyypillisiä koneen tuottamalle kielelle, ja palauttaa arvion siitä, kuinka paljon teksti muistuttaa niitä. Se ei tiedä, kuka tekstin kirjoitti, eikä se näe kirjoitusprosessia. Tulos on siis arvio, ei todiste.

Tästä seuraa kolme käytännön sääntöä:

• Korkea luku ei todista tekoälyn käyttöä, ja matala luku ei todista, että teksti on kirjoitettu itse.
• Tunnistin erehtyy kumpaankin suuntaan: se voi merkitä ihmisen kirjoittaman tekstin epäilyttäväksi ja päästää läpi muokatun tekoälytekstin.
• Yksittäistä pistelukua ei pidä koskaan käyttää ainoana perusteena sille, että jotakuta syytetään vilpistä.

Seuraavaksi käydään läpi, miten arvio syntyy, miksi suomi on tunnistimille hankala kieli, ketä virheet osuvat useimmin ja miten opiskelija, opettaja tai työnantaja voi toimia reilusti.

Miten tunnistin päätyy arvioonsa?

Eri tunnistimet toimivat eri tavoin, mutta suurin osa käyttää jotakin seuraavista kolmesta ajatuksesta.

1. Ennustettavuus eli perpleksisyys

Kielimalli tuottaa tekstiä valitsemalla jokaiseen kohtaan todennäköisen seuraavan sanan. Siksi koneen kirjoittama teksti on usein "tasaisen odotettavaa". Tunnistin voi mitata, kuinka yllättäviä sanavalinnat ovat: jos lähes jokainen sana on se, jonka kielimalli olisi itsekin valinnut, teksti muistuttaa koneen tuotosta.

Ongelma on, että myös ihminen kirjoittaa ennustettavasti, kun aihe on tuttu ja tyyli kaavamainen. Esimerkiksi laboratorioraportin menetelmäosa, hakemuksen kohteliaisuusfraasit tai oppikirjan määritelmä ovat odotettavia, koska genren pitääkin olla.

2. Vaihtelu eli burstiness

Ihmisen teksti vaihtelee: lyhyt virke, sitten pitkä ja polveileva, sitten kysymys. Kone tuottaa usein tasaisempaa rytmiä. Tunnistin voi mitata virkkeiden pituuden ja rakenteen vaihtelua. Tämäkin piirre on epävarma. Moni ihminen kirjoittaa tasaisesti, erityisesti kun noudattaa tiukkaa ohjetta tai kirjoittaa vierasta kieltä.

3. Tilastollinen malli, joka on opetettu esimerkeillä

Moderni tunnistin on yleensä luokittelija. Sille on näytetty suuri joukko ihmisten kirjoittamia ja koneella tuotettuja tekstejä, ja se on oppinut tunnistamaan piirteitä, jotka erottavat joukot toisistaan: sanojen ja merkkijonojen jakaumia, virkkeen pituutta, välimerkkien käyttöä ja niin edelleen. Tulos riippuu siitä, millaisia tekstejä opetuksessa oli. Jos uusi kielimalli kirjoittaa toisin kuin opetusaineiston mallit, tunnistin voi jättää sen huomaamatta.

Miten AdeptWriten tunnistin toimii

Tekoälytunnistin käyttää tilastollista mallia, joka laskee tekstistä piirteitä (muun muassa merkki- ja sanajonojen jakaumia sekä tyylipiirteitä) ja antaa kolmiluokkaisen tuloksen: todennäköisesti ihmisen kirjoittama, epävarma tai sekoitettu, tai todennäköisesti tekoälyn tuottama. Pisteluku on merkitty arvioksi (≈), ja sen vieressä kerrotaan, ettei se ole todennäköisyys sille, että juuri tämä teksti on tekoälyn kirjoittama. Työkalu korostaa virkkeet, jotka muistuttavat eniten konekieltä, mutta korostus on heikompaa näyttöä kuin kokonaisarvio.

Tunnistin vaatii vähintään 40 sanaa ja käsittelee enintään 6 000 merkkiä kerrallaan. Tilastollinen osa laskee tuloksen selaimessasi. Halutessasi voit pyytää lisäksi syväanalyysin, jossa teksti lähetetään tekoälymallille toista mielipidettä varten vain kyseistä pyyntöä varten; sitä ei tallenneta. Syväanalyysi on valinnainen, ja sen yhdistetty tulos on merkitty kokeelliseksi, koska se on validoitu vähemmän tarkasti kuin tilastollinen malli.

Tarkkuuslukuja ei kannata etsiä tästä oppaasta. Mitatut luvut ja niiden rajoitukset näytetään tunnistimen omalla sivulla, ja jos suomelle ei ole mittausta, sivu kertoo sen. Ota se lukua tärkeämpänä tietona.

Miksi suomi on tunnistimelle hankala kieli?

Suomen rakenne vaikuttaa siihen, miten luotettavasti tilastolliset piirteet toimivat. Tämä on perusteltu päätelmä kielen ominaisuuksista, ei mitattu väite jokaisesta tunnistimesta.

• Taivutus. Yksi sana esiintyy kymmenissä muodoissa (talo, talon, talossa, talossakin, taloistamme). Sanalistoihin ja yleisimpiin sanoihin nojaavat piirteet hajoavat helposti pienemmiksi ja harvinaisemmiksi osiksi kuin englannissa.
• Yhdyssanat. Suomessa muodostetaan pitkiä yhdyssanoja (tutkimusetiikkatoimikunta), joita ei välttämättä ole missään harjoitusaineistossa. Harvinainen sana näyttää tunnistimelle "yllättävältä", vaikka kirjoittaja olisi vain käyttänyt alansa termiä.
• Vapaa sanajärjestys. Sama asia voidaan sanoa usealla järjestyksellä. Rytmin ja lauserakenteen mittaaminen on siksi epäselvempää.
• Aineiston määrä. Monet tunnistimet on kehitetty ensisijaisesti englannin ehdoilla, ja suomen vertailuaineistot ovat usein pienempiä. Siksi suomelle annettu tulos kannattaa lukea varovaisemmin. AdeptWriten tunnistin sanoo itse, jos kielen tarkkuutta ei ole mitattu.

Ketä virheet osuvat useimmin?

Tunnistimet erehtyvät joka suuntaan, mutta tietyt tekstit ovat erityisessä riskissä.

Tutkimuskirjallisuudessa on raportoitu, että englanninkieliset tunnistimet leimaavat ei-äidinkielisten kirjoittajien tekstejä muita useammin tekoälyn tuottamiksi (Liang ym., Patterns, 2023). Suomen osalta ilmiötä ei tässä oppaassa väitetä mitatuksi. Syy varovaisuuteen on kuitenkin selvä: suomea opiskelevan tai vieraskielisen opiskelijan teksti voi olla "liian siistiä" ja yksinkertaista tilastollisen mallin silmissä. AdeptWriten tunnistin ei ole mitannut, kuinka usein opiskelijoiden ja ei-äidinkielisten kirjoittajien esseet leimataan virheellisesti kaikilla kielillä, ja kertoo senkin tulossivullaan.

Miksi pisteluku ei saa ratkaista opiskelijan asiaa

Opiskelijaan kohdistuva epäily vaikuttaa arvosanaan, opintojen etenemiseen ja luottamukseen. Tästä syystä:

1. Tunnistin kertoo vain, miltä teksti tilastollisesti näyttää, ei sitä, miten se on syntynyt.
2. Virhe voi osua ihmiseen, joka ei ole tehnyt mitään väärää.
3. Pelkkä pisteluku ei anna opiskelijalle mahdollisuutta vastata mihinkään konkreettiseen.
4. Tunnistimet eivät pysy uusien kielimallien mukana. Tilanne muuttuu nopeasti.

Käytännössä suomalaisten korkeakoulujen vilppikäsittelyssä ratkaisevat oppilaitoksen oma ohje ja kurssin ohjeistus siitä, missä tekoälyn käyttö on sallittua. Tutkimuseettisen neuvottelukunnan (TENK) hyvän tieteellisen käytännön ohje ja oppilaitoksesi omat linjaukset ovat oikeat lähtökohdat. Tarkista ohje aina omalta oppilaitokseltasi, sillä käytännöt vaihtelevat kursseittain.

Mitä tulos kertoo ja mitä ei?

Vastaavasti korostetut virkkeet kertovat vain, mitkä kohdat muistuttavat konetta eniten. Kaavamainen määritelmälause saa korostuksen, vaikka kirjoittaja olisi kirjoittanut sen itse.

Tarkistuslista opiskelijalle: näin suojaat itsesi

• Säilytä luonnokset. Tallenna tekstin eri versiot ja pidä käytössä pilvidokumentin versiohistoria.
• Pidä muistiinpanot. Lähdelista, hakusanat ja ajatuskartat osoittavat, miten työ eteni.
• Kirjaa tekoälyn käyttö. Jos kurssi sallii sen, kerro, mihin käytit työkalua (esimerkiksi kielenhuoltoon), ja noudata ilmoitusohjetta.
• Opettele selittämään työsi. Jos joudut keskusteluun, sinun pitää pystyä kertomaan omin sanoin, mitä tekstissäsi väitetään ja miksi.
• Älä "humanisoi" epäilyksen takia. Tekstin sotkeminen vain tunnistimen harhauttamiseksi heikentää tekstiä eikä poista vastuutasi.
• Pyydä vertaisarvio. Joku, joka tuntee kirjoitustyylisi, voi vahvistaa, että teksti kuulostaa sinulta.

Tarkistuslista opettajalle ja ohjaajalle

1. Älä aloita pisteestä. Käytä tulosta korkeintaan syynä katsoa tekstiä tarkemmin.
2. Tarkista tekstin sisäinen laatu. Onko lähteissä viitteitä, joita ei ole olemassa? Vastaavatko väitteet kurssimateriaalia? Tämä on tunnistinta vahvempaa näyttöä.
3. Pyydä luonnokset ja versiohistoria. Ne kertovat, miten teksti syntyi.
4. Järjestä keskustelu. Pyydä opiskelijaa selittämään työnsä keskeisiä kohtia suullisesti.
5. Vertaa aiempiin teksteihin varovasti ja huomioi, että kirjoitustaito kehittyy.
6. Huomioi kielitausta. Suomea toisena kielenä kirjoittavan tekstin tulkinta vaatii erityistä varovaisuutta.
7. Kirjaa perustelut. Päätös ei saa nojata yhteen lukuun.

Lue myös opas Mitä on plagiointi: plagiointi ja tekoälyn käyttö ovat eri asioita, ja niitä tutkitaan eri tavoin. Plagioinnin tarkistus etsii tekstistä kohtia, jotka löytyvät avoimista verkkolähteistä, ja se sopii lähdeviitteiden tarkistukseen. Se ei kerro mitään tekoälyn käytöstä.

Esimerkki: sama teksti, kaksi tulkintaa

Oletetaan, että vaihto-opiskelija kirjoittaa kolmen kappaleen esseen suomeksi opettelemillaan rakenteilla:

Suomen koulujärjestelmä on tunnettu hyvistä oppimistuloksista. Koulutus on maksutonta kaikille. Opettajilla on vahva koulutus ja suuri vapaus suunnitella opetusta.

Virkkeet ovat lyhyitä, rytmi tasaista ja sanasto yleiskielistä. Tilastollinen malli voi pitää tällaista tekstiä koneellisena. Tulkinta olisi kuitenkin väärä: kirjoittaja on käyttänyt turvallisia rakenteita, joita kielenoppija käyttää. Keskustelu, luonnokset ja kysymykset sisällöstä paljastaisivat totuuden paljon paremmin kuin pistemäärä.

Käänteinen tilanne on yhtä todellinen: tekoälyn tuottama teksti, jonka kirjoittaja on lyhentänyt, pilkkonut uudelleen ja lisännyt omia esimerkkejään, voi saada matalan pisteen. Tunnistin ei siis kerro, onko kirjoittaja noudattanut kurssin ohjetta.

Miten käytät AdeptWriten tunnistinta järkevästi

• Itsetarkistus. Liitä oma luonnos ja katso, mitkä virkkeet korostuvat. Ne ovat usein kaavamaisia: kirjoita ne uudelleen konkreettisemmin ja omilla esimerkeilläsi.
• Käytä riittävän pitkää tekstiä. Alle 40 sanaa ei arvioida lainkaan, ja alle noin 150 sanan tulos on hyvin epävarma.
• Lue rajoitukset. Tulossivulla näytetään rajoitukset, ja ne kannattaa lukea ennen lukua.
• Älä käytä tulosta todisteena. Työkalu sanoo itse, ettei tulosta saa käyttää ainoana perusteena ketään vastaan.
• Muista valinnainen syväanalyysi. Se lähettää tekstin tekoälymallille, joten käytä sitä vain, jos tekstin saa jakaa.

Jos tekstisi kaipaa selkeyttä, kieliopin tarkistus ja tekstin uudelleenmuotoilu auttavat, mutta huomaa, että tekoälytyökalulla korjattu teksti voi saada tunnistimessa merkinnän "sekoitettu". Kerro työkalujen käytöstä, jos kurssi sitä edellyttää.

Yleisiä väärinkäsityksiä

• "Tunnistin löytää ChatGPT:n." Tunnistin ei tunnista tiettyä palvelua. Se arvioi tilastollisia piirteitä.
• "Sata prosenttia tarkoittaa varmuutta." Pisteluku ei ole todennäköisyys tälle tekstille, ja AdeptWriten tunnistin ei näytä arvoja 0 tai 100 prosenttia.
• "Jos omin sanoin muokkaan, olen turvassa." Muokkaus voi pudottaa pistettä, mutta kurssin ohje ratkaisee sen, onko tekoälyn käyttö sallittua.
• "Jos pistemäärä on matala, teksti on ihmisen." Tunnistin ei todista kirjoittajaa.

← Kaikki oppaat