Kako rade AI detektori teksta i koliko su pouzdani? Iskren vodič za učenike, studente i nastavnike

AI detektor ne zna tko je napisao tekst. On mjeri statistička obilježja, primjerice koliko je izbor riječi predvidljiv i koliko se duljina rečenica mijenja, te iz njih izračuna procjenu. Takav rezultat nije dokaz. Lažno pozitivni rezultati česti su kod jednostavnog, formalnog i nematerinskog pisanja, pa detektor nikad ne smije biti jedini dokaz protiv osobe.

Što detektor zapravo radi?

AI detektor teksta uspoređuje tekst koji mu date sa statističkim uzorcima prepoznatim u ranijim tekstovima ljudi i strojeva. Ne traži „potpis“ umjetne inteligencije jer takav potpis ne postoji; računa koliko tekst nalikuje onome što je naučio kao strojno pisano. Rezultat je zato uvijek procjena vjerojatnosti sličnosti, a ne utvrđena činjenica o autoru.

Vrijedi pamtiti jednu rečenicu: visok rezultat znači „ovaj tekst statistički sliči strojnom“, a ne „ovo je napisao stroj“. Ta je razlika važna kad rezultat utječe na ocjenu, na stegovni postupak ili na vaš ugled.

Što se mjeri: predvidljivost i ujednačenost

Većina detektora koristi neku kombinaciju sljedećih obilježja.

Predvidljivost riječi (perpleksnost)

Jezični modeli biraju riječ koja je u kontekstu najvjerojatnija. Ljudi češće posežu za neočekivanijim izborom. Ako je svaka sljedeća riječ u tekstu lako predvidljiva, tekst djeluje „strojnije“. Problem: i vrlo uredan, školski ili formalan ljudski tekst ima predvidljive riječi.

Ujednačenost rečenica (varijabilnost)

Ljudski tekst obično miješa kratke i duge rečenice, dok strojni zna biti ravnomjerniji. Ali i student koji piše pažljivo, u istom ritmu, ostavlja takav dojam.

Uzorci riječi i nizova riječi

Neki detektori uče iz velikih zbirki ljudskih i strojnih tekstova koje riječi i nizovi riječi dolaze zajedno. Što su podaci za učenje drukčiji od teksta koji provjeravate, to je procjena nepouzdanija.

Dodatno mišljenje drugog modela

Neki alati dodaju i „drugo mišljenje“ jezičnog modela koji u tekstu traži znakove strojnog pisanja. To je dodatan, a ne konačan signal, i takav izlaz može biti pogrešan.

Zašto su rezultati procjena, a ne dokaz

1. Nema pouzdanog vodenog žiga. Većina tekstova ne nosi nikakvu skrivenu oznaku koju bi detektor mogao pročitati.
2. Modeli se brzo mijenjaju. Novi jezični modeli pišu drukčije od onih na kojima je detektor učen, pa ih može propustiti.
3. Uređeni tekst je mješavina. Strojni nacrt koji je čovjek prepravio, ili ljudski tekst ispravljen alatom za gramatiku, nalazi se negdje između i često završi u kategoriji „nesigurno“.
4. Skala nije vjerojatnost. Broj poput „72 %“ često se čita kao „72 % je vjerojatno da je pisao stroj“, a obično znači nešto drugo (u AdeptWriteovu detektoru to je kalibrirana procjena sličnosti, ne vjerojatnost za taj tekst).

Zašto su lažno pozitivni rezultati česti na hrvatskome

Lažno pozitivan rezultat znači da je tekst koji je napisao čovjek označen kao strojni. Sljedeći razlozi vrijede za bilo koji jezik, a na hrvatskome ih pojačava manja količina podataka za učenje.

• Manji jezik, manje podataka. Hrvatskim se piše i govori znatno manje nego engleskim, pa je i manje primjera ljudskih i strojnih tekstova za učenje i provjeru. Provjeru točnosti za svaki jezik treba mjeriti zasebno, a kod mnogih jezika nije izmjerena.
• Bogata morfologija. Sedam padeža, tri roda i mnogo glagolskih oblika čine da isti sadržaj ima mnogo površinskih oblika, što statistički modeli učeni pretežno na engleskome slabije hvataju.
• Jednostavno i školsko pisanje. Učenik koji piše kratkim, pravilnim rečenicama po obrascu „uvod, razrada, zaključak“ piše predvidljivo, a upravo to detektori smatraju sumnjivim.
• Nematerinski govornici. Tko uči hrvatski kao drugi jezik, često bira osnovne riječi i konstrukcije. Poznata istraživanja na engleskome upozoravaju da detektori češće pogrešno označavaju takve tekstove; za hrvatski ne tvrdimo mjerenja koja nemamo.
• Formalni stil. Pravni dopisi, zahtjevi, molbe, službene obavijesti i referati po prirodi su šablonski.
• Ispravljeni tekstovi. Tekst pročišćen alatom za gramatiku ili parafraziranje može dobiti „strojniji“ ritam.

Primjer koji dobro pokazuje problem. Ovakav odlomak napisao bi i učenik osmog razreda i strojni model:

„Klimatske promjene jedan su od najvećih izazova današnjice. One utječu na život ljudi, životinja i biljaka. Zato je važno da svi brinemo o okolišu.“

Rečenice su kratke, ujednačene i opće, pa bi takav tekst mogao dobiti visok rezultat sličnosti sa strojnim. Isti sadržaj s konkretnim detaljima (npr. „U lipnju je u Slavoniji tri tjedna bez kiše sušila kukuruz na našem polju“) djeluje osobnije i daje drukčiji rezultat, što pokazuje da detektor mjeri stil, a ne autorstvo.

Kako radi AdeptWriteov AI detektor

AI detektor na AdeptWriteu izračunava procjenu u vašem pregledniku pomoću statističkog modela koji se temelji na hashiranim nizovima riječi i stilometrijskim obilježjima. Što treba znati:

• Rezultat je procjena, ne dokaz. Prikazuje se kao „≈ NN %“, uz oznaku jedne od tri skupine: vjerojatno napisao čovjek, mješovito ili nesigurno, vjerojatno strojno.
• Pokazuje izmjerene podatke o točnosti i ograničenja uz svaki rezultat, uključujući i napomenu da je točnost za jezik moguće mjeriti zasebno. Ako za hrvatski nije izmjerena, alat to jasno kaže i savjetuje dodatni oprez.
• Najmanje 40 riječi, najviše 6.000 znakova po provjeri; kratki tekstovi (ispod otprilike 150 riječi) znatno su manje pouzdani.
• Istaknute rečenice su slabiji dokaz od ukupne procjene.
• Opcionalna „dubinska analiza“ šalje tekst jezičnom modelu za dodatno mišljenje i pritom se tekst ne pohranjuje. Rezultat je označen kao kombiniran i eksperimentalan dok ga ne potvrdimo.
• Uvijek stoji upozorenje: rezultat nikad ne smije biti jedini dokaz protiv osobe.
• Tekst koji je ručno ili alatom preoblikovan nalazi se između ljudskog i strojnog pisanja, pa rezultat za njega nije pouzdan ni u jednom smjeru.

Alat dakle služi za samoprovjeru i informaciju, ne za presudu o tuđem radu.

Mitovi i činjenice

• Mit: „Detektor vidi je li korišten ChatGPT.“ Činjenica: vidi samo tekst. Ne zna koji je alat korišten, ni je li uopće korišten.
• Mit: „Nizak rezultat dokazuje da je tekst ljudski.“ Činjenica: preoblikovan, uređen ili „humaniziran“ strojni tekst često prođe nezapaženo.
• Mit: „Dva detektora moraju dati isti rezultat.“ Činjenica: svaki ima drukčije podatke za učenje i drukčiju skalu, pa se brojevi ne mogu uspoređivati.
• Mit: „Postotak je vjerojatnost da je tekst strojni.“ Činjenica: to je najčešće ocjena sličnosti na skali koja je kalibrirana na ispitnim podacima.

Primjer: isti sadržaj, dva stila

Zamislimo dvije verzije iste obavijesti školskog odbora.

A: „Sastanak će se održati u srijedu. Na sastanku će se raspravljati o proračunu. Svi članovi trebaju doći na vrijeme.“

B: „Sastanak je u srijedu u 18 sati u zbornici. Na dnevnom je redu proračun za sljedeću godinu, pa ponesite račune za prošlu. Ako kasnite, javite Marti.“

Obje verzije izmišljene su za ovaj primjer. Verzija A kratka je, ravnomjerna i općenita, oblik koji se lako može označiti. Verzija B ima konkretne podatke, osobno obraćanje i nejednak ritam. Obje je mogao napisati čovjek, što pokazuje da rezultat ovisi o stilu, a ne o tome tko je pisao.

Što mogu učiniti učenici i studenti

1. Pokažite proces. Sačuvajte bilješke, plan, nacrte i povijest verzija dokumenta (Google dokumenti i Word bilježe izmjene). To je najjači dokaz da ste sami pisali.
2. Pišite konkretno. Uključite osobne primjere, brojke iz vlastitog istraživanja, nazive mjesta i događaja koje poznajete.
3. Varirajte ritam. Ne gradite sve rečenice po istom kalupu; dopustite kraću rečenicu nakon dulje.
4. Navedite korištene alate. Ako ste upotrijebili alat za ispravak gramatike ili prijevod, recite to ako pravila traže; ne skrivajte.
5. Ne „humanizirajte“ naslijepo. Alati koji mijenjaju tekst da zaobiđu detektor mogu pogoršati kvalitetu, a pravila ustanove mogu to tretirati kao povredu.

Što ako je moj tekst pogrešno označen?

1. Ostanite mirni i ne odgovarajte u afektu. Zatražite da vam se pokaže koji je alat korišten, koja je vrijednost dobivena i na temelju čega.
2. Ponudite dokaze procesa: nacrte, bilješke, povijest verzija, izvore koje ste čitali.
3. Ponudite razgovor o sadržaju. Zamolite nastavnika da vas ispita o temi ili da vam zadaje kratak zadatak uživo; tko je sam pisao, lako objašnjava vlastite izbore.
4. Pozovite se na ograničenja alata. Proizvođači često sami navode da rezultat nije dokaz; spomenite to ravnodušno i činjenično.
5. Obratite se mentoru, voditelju studija ili, ako postoji, stegovnom tijelu ili povjereniku za etiku prema pravilima svoje ustanove. Točan postupak pogledajte u pravilniku fakulteta ili škole.
6. Zapišite tijek: tko je što rekao i kada.

Što mogu učiniti nastavnici

• Detektor smatrajte jednim signalom, nikad jedinim dokazom.
• Usporedite sa starijim radovima istog učenika i s razgovorom o sadržaju.
• Provjerite navode i izvore: izmišljene reference češći su znak problema od ritma rečenica.
• Jasno recite na početku kolegija ili školske godine što je dopušteno od alata.
• Za kratke tekstove i jednostavne zadatke ne koristite detektor.
• Politiku korištenja detektora vaše ustanove provjerite izravno u njezinim dokumentima; ovdje ne tvrdimo ništa o odredbama koje nismo provjerili.

Brza usporedba: što rezultat znači

Detektor nije zamjena za dobru praksu

Neovisno o alatu, pravila o dopuštenoj uporabi umjetne inteligencije u radu određuje vaša škola ili fakultet, pa ih provjerite prije pisanja, a ne tek nakon sumnje.

Najbolja zaštita od sumnje jest vidljiv proces pisanja, a najbolja provjera autorstva razgovor o sadržaju. Ako vas zanima i tuđe preuzimanje sadržaja, to je drugo pitanje od strojnog pisanja: pročitajte što je plagijat i isprobajte provjeru plagijata. Za razumijevanje alata o kojima se ovdje govori pogledajte i što je ChatGPT.

← Svi vodiči