Kako delujejo AI detektorji in kako zanesljivi so pri slovenskih besedilih

AI detektor v besedilu išče statistične vzorce, značilne za strojno pisanje, in izračuna oceno verjetnosti. To je ocena, ne dokaz: detektorji se motijo v obe smeri, še posebej pri kratkih, uradniških ali ne materinščini pisanih besedilih ter pri manjših jezikih, kot je slovenščina. Rezultat naj bo sprožilec za pogovor, nikoli edini dokaz proti človeku.

Kratek odgovor

AI detektor je program, ki besedilo primerja z vzorci, ki jih je videl pri človeških in strojnih besedilih, in izpiše oceno, kako »strojno« se besedilo bere. Ocena ni odgovor na vprašanje »je to napisal človek?«, ampak izjava o podobnosti: tako besedilo se po statističnih lastnostih bolj ali manj ujema s tem, kar je detektor videl pri strojnih besedilih.

Iz tega sledijo tri pravila, ki veljajo za vsak detektor, tudi za naše:

1. Rezultat je ocena, ne dokaz. Ni sodbe, ni razsodbe, je le podatek več.
2. Napake so možne v obe smeri. Detektor lahko človeško besedilo označi kot strojno (lažno pozitiven rezultat) in strojno besedilo spregleda (lažno negativen rezultat).
3. Za slovenščino je zanesljivost praviloma slabša kot za angleščino, ker je jezik manjši, učnih besedil je manj, sklanjatev in dvojina pa statistiko zapletata.

Ta vodnik razloži, kako detektorji delujejo, kdaj se motijo, kako bere oceno študent in kako mentor ter kaj storiti, če vas nekdo sumi, da ste besedilo napisali s pomočjo UI. Za širše okolje glejte tudi vodnik o ChatGPT v slovenščini in vodnik o plagiatorstvu.

Kako AI detektor deluje

Večina detektorjev se opira na eno ali več od naslednjih zamisli. Natančnih notranjih postopkov komercialnih orodij običajno ne razkrivajo, zato je spodnji opis splošen.

1. Statistika besed: predvidljivost in razgibanost

Jezikovni modeli besedilo gradijo tako, da vsakič izberejo statistično verjetno naslednjo besedo. Zato je strojno besedilo pogosto bolj predvidljivo kot človeško. V razpravah o detekciji se za to pojavljata izraza perpleksnost (kako presenetljivo je besedilo za model) in razgibanost (angleško burstiness: kako zelo se spreminjata dolžina in zgradba povedi). Človek običajno kombinira kratke in dolge povedi, nenadne zasuke in osebne podrobnosti. Model jih piše ponavadi bolj enakomerno.

Težava: tudi človek piše predvidljivo, kadar mora. Pravna pogodba, uradno obvestilo ali povzetek zakona so po naravi enakomerni in formulaični.

2. Slogovne značilnice in klasifikator

Drugi pristop izmeri veliko drobnih lastnosti besedila: pogostost posameznih besed in črkovnih nizov, dolžino povedi, vrsto in število ločil, ponavljanje struktur. Na podlagi primerov besedil, ki so jih napisali ljudje, in besedil, ki jih je ustvaril model, se klasifikator nauči ločevati med njimi.

Naš AI detektor deluje po tem načelu: v brskalniku izračuna statistične in slogovne lastnosti besedila, jih primerja z naučenim modelom in prikaže oceno ter pas: verjetno človek, mešano ali negotovo, verjetno UI. Poleg tega ponuja neobvezno »poglobljeno analizo«, pri kateri drugo mnenje poda jezikovni model. To je izrecno označeno kot dodatek in ne nadomešča previdnosti pri tolmačenju.

3. Vodni žig

Tretja zamisel je, da bi model v besedilo pri ustvarjanju vgradil skrit statistični vzorec. Če bi ga vsi ponudniki uporabljali in če besedila ne bi kdo preoblikoval, bi bilo preverjanje preprosto. V praksi se besedilo po ustvarjanju pogosto preoblikuje, prevede ali ročno popravi, zato je zanašanje na vodne žige omejeno. Večine besedil, ki jih srečate v študentskih nalogah, ne moremo pregledati tako.

Zakaj je rezultat ocena, ne dokaz

Detektor nikoli ne »vidi«, kdo je pisal. Vidi le črke in njihove statistične lastnosti. Dokaz bi bil, na primer, zgodovina urejanja dokumenta, osnutki, zapiski in pogovor, v katerem avtor razloži svoje odločitve.

Raziskovalci so večkrat pokazali, da so detektorji občutljivi na spremembe. Tako je na primer študija Liang in sodelavcev (arXiv, 2023, GPT detectors are biased against non-native English writers) pokazala, da so sedem preizkušenih detektorjev v povprečju kar 61,22 % esejev, ki so jih za izpit TOEFL napisali ljudje, ki angleščine niso materinščina, označili kot strojne. Ta podatek se nanaša na angleške eseje in ne pove ničesar o slovenščini, a je pomembno opozorilo: preprost, nekoliko okoren ali formalen slog je lahko za detektor sumljiv.

Podjetje OpenAI je leta 2023 svoj lastni detektor umaknilo zaradi nizke natančnosti, ameriška univerza Vanderbilt pa je odločila, da funkcije zaznavanja v programu Turnitin ne bo uporabljala. Obe informaciji sta povzeti iz javno dostopnih objav in kažeta, da ima tudi pri velikih ponudnikih ta tehnologija jasne meje.

Zato naš detektor pri vsakem rezultatu izpiše, da gre za statistično oceno, in poleg odstotka z znakom »≈« navede opozorilo: ocena je umerjena na testnih besedilih z enakim številom človeških in strojnih besedil, ni pa verjetnost, da je prav to besedilo napisal stroj. Odstotek se nikoli ne prikaže kot 0 % ali 100 %.

Posebnosti slovenščine

Slovenščina ima približno dva milijona govorcev, zato je v učnih zbirkah za detektorje veliko manj zastopana kot angleščina. To ima praktične posledice.

• Manj učnih podatkov. Detektor, ki je bil večinoma učen na angleščini, v slovenščini ne deluje enako dobro. Detektor, ki za slovenščino nima izmerjenih rezultatov, bi moral to povedati. Naš AI detektor ob rezultatu izpiše, ali je bila natančnost za jezik izmerjena na testnih podatkih ali ne.
• Sklanjatev in dvojina. Slovenski samostalniki imajo šest sklonov in tri števila (ednino, dvojino in množino), glagoli pa osebe in spole tudi v dvojini. Zato je nabor besednih oblik veliko večji kot v angleščini, statistika po besedah pa bolj redka.
• Svoboden besedni red. Slovenščina dopušča več vrstnih redov v povedi, kar pomeni večjo naravno razgibanost tudi pri strojnih besedilih.
• Strojni prevod. Besedilo, ki je prevedeno iz angleščine in slovnično nekoliko okorno, se lahko bere »strojno«, četudi ga je prevedel človek.
• Narečni in pogovorni izrazi. Pogovorna slovenščina z narečnimi prvinami se razlikuje od knjižnega jezika, na katerem se učijo modeli. To lahko vpliva v obe smeri.

Zato pri slovenskih besedilih rezultat tolmačite še bolj previdno kot pri angleških. Če stran orodja za slovenščino navaja izmerjene rezultate, jih preberite skupaj z opozorili. Če jih ne navaja, ocene ne jemljite resno kot podlago za odločitev.

Kdaj se detektorji najpogosteje motijo

Zadnja vrstica je pomembna: detektorji zaostajajo za modeli. Kdor trdi, da njegov detektor »zazna vse«, trdi več, kot ve.

Primer: dve besedili, ki ju detektor lahko zamenja

Spodnji besedili sta sestavljeni za ta vodnik.

Besedilo A (napisal študent, ki piše previdno in enakomerno):

Namen te seminarske naloge je predstaviti vpliv družbenih omrežij na učni uspeh dijakov. V prvem delu so opredeljeni osnovni pojmi. V drugem delu so predstavljeni rezultati raziskave. V tretjem delu so podane ugotovitve in priporočila.

Besedilo B (osnutek, ki ga je ustvaril model in ga je študentka prebrala ter razširila z lastnimi zgledi):

Pri svojem delu v šolski knjižnici sem opazila, da dijaki, ki telefon odložijo ob vstopu, naloge ponavadi končajo hitreje. To ni raziskava, le opažanje, ki me je spodbudilo, da sem vprašanje preverila v literaturi.

Besedilo A je enakomerno, poročevalsko in brez osebnega glasu, zato ga detektor pogosto oceni kot bolj »strojnega«, čeprav ga je napisal človek. Besedilo B je delno nastalo z UI, a vsebuje osebne podrobnosti in lahko dobi nizko oceno. Primer ne pomeni, da detektor ne deluje, ampak da stavek »ocena je visoka, torej je goljufal« ni utemeljen.

Če ste študent: kako ravnati ob sumu

Če vas mentor ali komisija sumi, da je besedilo napisal stroj, je pomembno, da ostanete mirni in da zbirate dokaze o svojem delu.

1. Najprej preberite pravila svoje fakultete. Dovoljena raba UI se med ustanovami, fakultetami in celo predmeti razlikuje. Disciplinski pravilnik, navodila za pisanje zaključnih del in navodila mentorja so vir, ne ta vodnik.
2. Zberite zgodovino nastajanja besedila. Zgodovina različic v urejevalniku (Google Dokumenti in Word jo hranita), osnutki, zapiski, seznam prebranih virov, zaslonski posnetki iskanj.
3. Bodite pripravljeni razložiti vsebino. Pogovor, v katerem razložite, zakaj ste uporabili določen vir ali zakaj ste zgradbo izbrali tako, je pogosto prepričljivejši od vsake ocene.
4. Če ste UI uporabili kot pomoč, to povejte. Pošteno razkritje (na primer da ste jo uporabili za iskanje idej ali popravljanje slovnice, če to pravila dovoljujejo) je bistveno boljše od prikrivanja.
5. Vprašajte, na čem temelji sum. Prosite za vpogled v poročilo in za pojasnilo, kaj pomeni rezultat. Prosite tudi, da se oceni še drugo gradivo, ki ste ga napisali.
6. Uporabite pravna sredstva ustanove. Postopki pritožbe so določeni v pravilniku in jih lahko uporabite.

Če nameravate pri pisanju uporabiti UI, ne poskušajte »preslepiti detektorja«. Cilj naj bo besedilo, ki ga razumete in za katerega lahko odgovarjate. Več o pravilni rabi orodij je v vodniku o parafraziranju.

Če ste mentor ali urednik: kako brati oceno

• Oceno obravnavajte kot razlog za pogovor, ne za kazen.
• Rezultata nikoli ne uporabite kot edini dokaz. Tako opozarja tudi naš detektor, ki to izpiše krepko ob vsakem rezultatu.
• Primerjajte besedilo z drugimi, ki jih je študent napisal sam (na vajah, v zagovoru, v starejših nalogah).
• Pazite na lažno pozitivne rezultate pri tujih študentih in pri uradnem slogu.
• Glejte vsebino: izmišljeni viri, napačni podatki ali splošnost brez konkretnih zgledov so včasih jasnejši znaki kot katerakoli ocena.

Kako uporabiti AdeptWrite AI detektor

AI detektor je brezplačen. Besedilo prilepite v polje (najmanj 40 besed, največ 6000 znakov na zagon). Kot rezultat dobite:

• oceno z znakom »≈« in pas: verjetno človek, mešano ali negotovo, verjetno UI,
• označene povedi, ki se berejo najbolj strojno (to je šibkejši dokaz kot skupna ocena),
• vrstico z izmerjenimi rezultati na testnih podatkih in seznam omejitev,
• pri jezikih, za katere nimamo izmerjenih rezultatov, izrecno opozorilo.

Kaj orodje ne počne: ne dokazuje avtorstva, ni primerno za ocenjevanje ali disciplinske postopke in ne nadomešča presoje človeka. Besedil, popravljenih z orodji na osnovi UI (tudi z našim preverjanjem slovnice ali parafraziranjem), ne izvzame: taka besedila lahko dobijo oznako »mešano« ali »verjetno UI«.

Za vprašanje podobnosti z objavljenimi viri je drugo orodje: preverjanje plagiatorstva išče ujemanja z odprtimi viri. Plagiat in UI sta različni vprašanji, kar razloži tudi vodnik o plagiatorstvu.

Pogoste zmote

1. »Visok odstotek pomeni, da je pisal stroj.« Pomeni, da je besedilo podobno strojnim besedilom, ki jih je detektor videl.
2. »Nizek odstotek pomeni, da je pisal človek.« Preoblikovano ali novo strojno besedilo lahko dobi nizko oceno.
3. »Če dva detektorja dasta različni oceni, je eden pokvarjen.« Delujeta po različnih postopkih in na različnih podatkih.
4. »Z dovolj popravki bo besedilo neopazno.« Cilj pisanja ni neopaznost, ampak besedilo, ki ga razumete in ste pripravljeni zagovarjati.
5. »Detektor mora delovati enako v vseh jezikih.« Ne deluje: pri manjših jezikih je navadno slabši.

Kontrolni seznam

← Vsi vodniki