Kuidas AI-detektorid töötavad ja kus nad eksivad

AI-detektor ei leia tõendit, vaid arvutab hinnangu, kui sarnane tekst on masinate kirjutatud tekstidega: lause pikkused, sõnavalik ja ennustatavus. Tulemus võib eksida mõlemas suunas, eriti lühikese, lihtsa, ametliku või eesti keeles kirjutatud teksti puhul. Seetõttu ei ole skoor tõend ja seda ei tohi kasutada ainsa argumendina inimese vastu.

Lühike vastus

AI-detektor hindab statistiliselt, kui sarnane on tekst tehisintellekti kirjutatud tekstidega. See on hinnang, mitte tõend. Detektor ei näe, kes teksti kirjutas, ega tea, kas kasutati abivahendit. Ta vaatab teksti mustreid: kui ennustatav on sõnavalik, kui ühtlase pikkusega on laused ja kui sarnane on stiil tuntud masintekstide omale. Tulemus on tõenäosus, mitte vastus küsimusele „kes kirjutas?“.

Eesti keeles on hinnang veel nõrgem kui suurtes keeltes, sest eesti keel on rikkaliku käänamisega ja väikese tekstimaterjaliga. Seetõttu käsitle iga tulemust ainult märguandena, mille põhjal võib esitada küsimusi, mitte otsustada. Allpool on selgitus, kuidas detektorid töötavad, miks nad eksivad, mida AdeptWrite AI tekstituvastaja ütleb enda piiride kohta ning mida teha, kui tekst on märgitud.

Kuidas detektor teksti hindab

Detektoreid on mitut tüüpi, ja sageli kombineeritakse neid.

1. Ennustatavus ja varieeruvus. Keelemudelid valivad järgmise sõna tõenäosuse järgi, seetõttu on nende tekst sageli ühtlaselt sujuv. Detektor võib mõõta, kui „üllatav“ tekst on. Inimeste tekstis on rohkem hüppeid: lühikesed laused vahelduvad pikkadega, ootamatud sõnad ja isiklikud detailid. Seda vahelduvust nimetatakse vahel teksti kõikuvuseks.

2. Sõnade ja fraaside mustrid. Mudelit õpetatakse suure hulga inimeste ja masinate kirjutatud tekstide peal. Ta õpib, millised sõnaühendid, lausealgused ja üleminekusõnad esinevad ühes või teises rühmas sagedamini.

3. Stiilimõõdikud. Lause keskmine pikkus, kirjavahemärkide kasutus, korduvad lausemallid ja sõnavara mitmekesisus.

4. Keelemudeli „kohtunik“. Mõni vahend küsib suurelt keelemudelilt arvamust. See annab täiendava märguande, aga on samamoodi ebakindel.

AdeptWrite detektor kasutab brauseris töötavat statistilist mudelit, mis põhineb hajutatud sõnajärgnevustel (n-grammidel) ja stiilimõõdikutel, ning valikulist „sügavanalüüsi“, kus teksti vaatab üle ka tehisintellekti kohtunik. Tulemus on üks kolmest rühmast: tõenäoliselt inimese kirjutatud, segane või ebaselge, tõenäoliselt tehisintellekti loodud. Selle juures on ligikaudne protsent ja esile tõstetud laused.

Miks eesti keel on detektorile raske

Eesti keele puhul tuleb arvestada mitme asjaoluga.

• Rikkalik morfoloogia. Eesti keeles on 14 käänet ja tegusõnadel kümneid vorme (maja, maja, majja, majas, majast, majale, majani). See hajutab statistikat: sama sõna esineb palju erinevate kujudena ja sagedusi on raskem hinnata.
• Vähem treeningandmeid. Eestikeelseid tekste on vähem kui ingliskeelseid ning masinate loodud eestikeelsete näidete kogum on väiksem. Mudel õpib vähem ja on ebakindlam.
• Masinate eesti keel muutub kiiresti. Uued mudelid kirjutavad eesti keelt sujuvamalt. Detektor, mis tunneb ära vana mudeli jälje, ei pruugi uue omaga hakkama saada.
• Õppimiskeel ja kirjutamisstiil. Eesti õpilase ja üliõpilase referaat on sageli ametlik, sarnase ülesehitusega (sissejuhatus, kolm peatükki, kokkuvõte) ja vältib kõnekeelt. See on täpselt see stiil, mida detektorid kipuvad masinlikuks pidama.

Seetõttu ei esita me ühtki täpsusprotsenti eesti keele kohta. Kui mõni teenus väidab ligi 100 % täpsust, siis vaata, millistel andmetel see on mõõdetud ja kas mõõdeti ka inimeste tekstide ekslikku märkimist. AdeptWrite tööriist kuvab iga tulemuse juures mõõdetud mudeli andmed ja märgib otse, kui eesti keele täpsust pole hinnatud või keelt ei toetata. Me ei väida, et eesti keel oleks hinnatud.

Näide: inimese tekst, mis võib saada lipu

Allolev lõik on välja mõeldud, aga sarnaseid kirjutavad õpilased igal aastal.

Digiõpe on tänapäeval muutunud üha olulisemaks. Ühelt poolt pakub see õppijatele paindlikkust, teisalt toob kaasa mitmeid väljakutseid. Seega on oluline leida tasakaal traditsioonilise ja digitaalse õppe vahel.

Lõik on sirgjooneline, üldsõnaline ja kasutab tuttavaid üleminekuid (ühelt poolt, teisalt, seega). Neid ühendeid õpetatakse koolis arutlevas kirjutises ja just seetõttu on need inimeste tekstis sagedased. Detektor võib sellise teksti siiski rühma „segane“ või „tõenäoliselt tehisintellekt“ panna. Vastupidi, masinal tehtud tekst, mida inimene on tugevalt toimetanud ja isiklike detailidega täiendanud, jääb sageli märkamata.

Mida siit järeldada: lipp ütleb, et tekst on üldsõnaline ja ühtlane, mitte et seda kirjutas masin. Märkus: see näidislõik on alla 40 sõna, mistõttu AdeptWrite tuvastaja ei hindaks seda üldse; päris tekstis oleks lipp sama võimalik.

Mida tulemus tähendab ja mida mitte

AdeptWrite tuvastaja piirangud on tulemuse juures alati näha:

• Alla ligikaudu 150 sõna pikkused tekstid hinnatakse märksa ebakindlamalt. Minimaalne pikkus on 40 sõna, maksimaalne 6000 märki.
• AI-tekst, mida on ümbersõnastatud, toimetatud või „humaniseeritud“, jääb tavaliselt märkamata.
• Lihtsad, mallikohased või mitte emakeeles kirjutatud tekstid võivad saada valesti lipu.
• Tekstid, kus on nii inimese kui masina osi, satuvad sageli rühma „segane“.
• Ka AI-tööriistadega parandatud tekst (sealhulgas AdeptWrite enda grammatikakontroll või ümbersõnastaja) võib saada märke „segane“ või „tõenäoliselt tehisintellekt“.
• Esile tõstetud laused on nõrgem tõend kui üldhinnang.
• Uued tehisintellekti mudelid kirjutavad teisiti, seega võib detektor need märkamata jätta.

Ära kasuta tulemust kunagi ainsa tõendina inimese vastu. Madal ja kõrge tulemus võivad mõlemad olla valed.

Neli müüti AI-detektorite kohta

„Detektor tunneb ära konkreetse mudeli.“ Ei tunne. Ta hindab mustreid, mitte allikat. Ükski vahend ei saa teada, millise programmiga tekst tehti, ega seda, kas see tehti üldse masinaga.

„Kõrge tulemus tõestab pettust.“ Ei tõesta. Üldsõnaline, hästi struktureeritud ja ametlik tekst võib saada kõrge tulemuse ka inimese kirjutatuna, nagu eespool näidatud.

„Madal tulemus tähendab, et kõik on korras.“ Ei tähenda. Toimetatud, ümbersõnastatud ja segatud tekst jääb sageli märkamata ning uued mudelid kirjutavad teisiti kui need, millega detektorit õpetati.

„Mitu detektorit korraga annavad kindla vastuse.“ Kui mitu vahendit põhinevad sarnastel andmetel, võivad nad eksida samamoodi. Kolm ebakindlat hinnangut ei tee ühte kindlat.

Kuidas lugeda AdeptWrite tulemust samm-sammult

1. Kleebi tekst kasti. Vähem kui 40 sõna ei hinnata üldse ja alla umbes 150 sõna hinnang on nõrk, nii et kasuta võimalusel pikemat lõiku.
2. Vaata rühma ja ligikaudset protsenti. Protsent on mudeli kalibreeritud skoor, mitte tõenäosus, et just see tekst on masinaga tehtud.
3. Loe piiranguid ja märget keele katvuse kohta. Kui eesti keele täpsust pole hinnatud, loe tulemust eriti ettevaatlikult.
4. Vaata esile tõstetud lauseid, aga ära tee neist järeldusi üksi. Need näitavad kohti, mis on kõige üldsõnalisemad või ühtlasemad.
5. Kasuta tulemust enda töö parandamiseks: lisa konkreetsust, vaheldust ja allikaid, mitte ainult skoori alandamiseks.

Põhianalüüs töötab sinu brauseris. Valikuline sügavanalüüs saadab teksti serverisse ainult selle päringu jaoks ja seda tuleb ise valida; selle kohta on tööriista lehel eraldi märge.

Miks tehisintellekti kasutamisest tuleb rääkida ausalt

Tehisintellekt on kirjutamises tavaline abivahend: tekstiplaan, grammatika kontroll, sõnastuse pakkumine, tõlkimine. Küsimus ei ole enamasti selles, kas kasutada, vaid kus on kooli või tööandja lubatav piir. Mõnes aines on tehisintellekt keelatud, teises lubatud märkega, kolmandas julgustatud. Õppija jaoks on kõige kindlam viis arusaamatusi vältida see, et küsib reegleid ette ja hoiab alles töö käigus tekkinud mustandid. Õpetaja jaoks on aus lähtekoht öelda ülesande juures selgelt, mida tohib. Detektor ei asenda ühtegi neist kokkulepetest ja pole mõeldud nende jõustamiseks.

Kui kirjutad ise ja soovid oma stiili arendada, toimivad kõige paremini harjutused, mida ükski mudel ei suuda sinu eest teha: kirjuta kohalikest kogemustest, nimeta konkreetseid inimesi, kohti ja kuupäevi, põhjenda oma valikuid ja ütle välja, mida sa ei tea. Selline tekst on lugejale huvitavam ja detektorile raskem eksitada.

Mida teha, kui sinu tekst sai lipu

1. Ära paanitse ja ära eita automaatselt. Skoor on hinnang, mitte otsus.
2. Kogu tööprotsessi tõendid. Mustandid, märkmed, versiooniajalugu (Google Docs, Word), allikate loetelu ja otsingud näitavad, kuidas töö valmis sai.
3. Selgita oma tööd. Kui juhendaja küsib, jutusta oma põhjendustest, allikatest ja otsustest. Inimene, kes teksti kirjutas, oskab seda selgitada.
4. Lisa konkreetseid detaile. Üldsõnalised laused muutuvad usutavamaks, kui neis on näide, kohalik detail või oma vaatlus.
5. Vaata kooli reegleid. Õppeasutuse reeglid tehisintellekti kasutamise kohta erinevad ja muutuvad. Loe neid kooli kodulehelt või küsi juhendajalt, ära tugine kuulujuttudele.
6. Küsi, mida tulemus tegelikult näitab. Paluda juhendajal näidata kasutatud tööriista, tulemust ja selle piiranguid on igati õigustatud.

Mida teha õpetajana või juhendajana

• Käsitle tulemust põhjusena vestluseks, mitte süüdistuseks.
• Võrdle teksti õpilase varasemate töödega ja palu tal oma mõttekäiku suuliselt selgitada.
• Küsi mustandeid ja allikaid. Tööprotsess on tugevam tõend kui skoor.
• Märgi õpilastele ette, kas ja kuidas tehisintellekti ülesandes tohib kasutada. Ilma selge reegliteta on iga hindamine ebaõiglane.
• Arvesta, et mitte-emakeelsed kirjutajad ja lihtsa stiiliga tekstid võivad saada ekslikke lippe.

Kuidas AdeptWrite tööriistad sobivad

• AI tekstituvastaja annab hinnangu koos piirangutega. Kasuta seda enda teksti ülevaatamiseks: kus on laused liiga üldsõnalised või ühtlased?
• AI teksti humaniseerija on mõeldud kirjutamise parandamiseks: ta teeb tehisintellekti mustandi loomulikumaks ja isiklikumaks, muutmata tähendust. See ei ole vahend tuvastajatest mööda hiilimiseks ja me ei luba selliseid tulemusi. Kui kool nõuab tehisintellekti kasutamise märkimist, märgi see.
• Plagiaadikontroll otsib kattuvusi avatud allikatega; see on teine küsimus kui AI-hinnang. Selgitus on juhendis Plagiaat: mis see on.
• Õigekirjakontroll aitab lõpliku teksti viimistleda.

Kontrollnimekiri enda teksti jaoks

• Kas tekstis on konkreetseid näiteid, nimesid, kohti või numbreid, mida oskad ise selgitada?
• Kas laused varieeruvad pikkuselt?
• Kas oled vältinud tühje üldsõnu nagu tänapäeval on oluline ja on vaja leida tasakaal?
• Kas allikad on olemas ja viidatud?
• Kas tead täpselt, mida tehisintellekti abi sinu töös tegi, ja kas see on kooskõlas reeglitega?
• Kas hoiad alles mustandid ja märkmed?

Tehisintellekti ja kirjutamise kohta loe ka juhendit Mis on ChatGPT ja kuidas seda kirjutamisel kasutada.

← Kõik juhendid