Kako rade AI detektori i koliko su pouzdani: šta rezultat zaista znači

AI detektor ne „vidi“ ko je tekst napisao. On meri statističke osobine teksta, kao što su predvidljivost reči, ujednačenost rečenica i stil, i na osnovu toga daje procenu. Procena može biti pogrešna u oba smera, posebno kod kratkih, šablonskih ili jednostavnih tekstova i autora kojima srpski nije maternji, pa nikad nije dokaz.

Šta AI detektor zapravo radi

AI detektor je program koji tekstu dodeljuje ocenu koliko liči na tekst koji bi napisao jezički model. Važno je razumeti glagol: liči. Detektor ne poseduje spisak onoga što je neki program napisao, ne pamti tuđe razgovore i ne može da otvori istoriju dokumenta. Dobija samo tekst i računa.

Zato je ispravan način čitanja rezultata: „tekst ima osobine koje se češće javljaju u mašinski pisanim tekstovima“, a ne „ovo je napisao program“. Prvo je procena, drugo bi bila tvrdnja koju nijedan detektor ne može da potvrdi.

Šta se meri: tri glavna pristupa

U praksi detektori kombinuju nekoliko ideja. Nazivi se razlikuju, ali se uglavnom svode na sledeće.

1. Predvidljivost reči

Jezički model piše tako što bira verovatnu sledeću reč. Zato tekst koji je „previše glatak“, u kome je svaka reč baš ona koju biste očekivali, ima nižu zbunjenost (na engleskom perplexity). Čovek češće izabere neočekivanu reč, neobičan izraz, ličnu uzgrednu napomenu.

2. Ujednačenost rečenica

Ljudi menjaju ritam: kratka rečenica, pa duga sa zavisnim delovima, pa fragment. Mašinski tekst je često ujednačeniji po dužini i građi rečenica. To se na engleskom naziva burstiness (neujednačenost). Ovo je slabiji pokazatelj nego što zvuči, jer i mnogi ljudi pišu ujednačeno, naročito u zvaničnom stilu.

3. Model naučen na primerima

Najčešći pristup je statistički klasifikator koji je „učen“ na velikom broju ljudskih i mašinskih tekstova. On gleda nizove slova i reči, dužine rečenica, interpunkciju i slične osobine i izračunava verovatnoću. Takav model je dobar onoliko koliko su dobri primeri na kojima je učen i koliko je novi tekst sličan tim primerima. Novi jezički modeli pišu drugačije, pa detektor učen na starijima može da ih promaši.

Neki sistemi dodaju i „drugo mišljenje“ drugog jezičkog modela, koji obrazloži zašto tekst deluje mašinski. To može pomoći u tumačenju, ali je i to procena, ne činjenica.

Zašto je rezultat procena, a ne dokaz

Postoje četiri razloga zbog kojih se rezultat ne može uzeti kao dokaz.

1. Ne postoji pouzdan „potpis“. Mašinski tekst nema nevidljivi žig koji se može pročitati. Detektor se oslanja na statistiku, a statistika ima izuzetke.
2. Procenat nije verovatnoća da je tekst mašinski. Skor je izračunat na osnovu skupa za testiranje; ne znači da je „87 %“ šansa da je baš vaš tekst napisao program.
3. Ljudi i alati se mešaju. Tekst koji je napisao čovek, a ispravio program, ili koji je program napisao, a čovek bitno izmenio, daje zbunjujuće rezultate.
4. Greške idu u oba smera. Detektor može da označi ljudski tekst kao mašinski (lažna uzbuna) i da propusti mašinski tekst koji je preformulisan ili izmenjen (propust).

Zato dobar detektor mora da kaže šta ne zna. Alat koji obećava „100 % tačnosti“ ili „otkriva svaki tekst“ ne govori istinu.

Gde detektori najčešće greše

Jednostavan i šablonski tekst

Kratki, pravilni, uslovno „školski“ tekstovi liče na mašinske jer ni ljudi u njima ne biraju neobične reči. Primeri: prijava za posao sa ustaljenim frazama, opis proizvoda, školski sastav sa strogom strukturom (uvod, razrada, zaključak), uputstvo korak po korak. Pogledajte dva odlomka:

Šablonski ljudski tekst: „Naša škola organizuje ekskurziju u maju. Učenici će posetiti muzeje i istorijske lokalitete. Prijavljivanje traje do kraja aprila. Za više informacija obratite se razredniku.“

Rečenice su kratke, ujednačene i bez ličnog tona, što je upravo ono što statistika povezuje sa mašinskim tekstom, iako ovakvo obaveštenje piše svaki nastavnik.

Tekst sa ličnim tragom: „Prošle godine smo zakasnili na autobus za Viminacijum jer je neko zaboravio ličnu kartu, pa ove godine razredni traži prijave do 30. aprila i ne pomera rok.“

Ovde su konkretni detalji, neočekivan tok i nepravilna dužina rečenice, što detektori češće tumače kao ljudski rukopis. Međutim, ni ovo nije garancija: ni lični ton ne dokazuje da je tekst pisao čovek.

Autori kojima srpski nije maternji

Ko uči srpski kao strani jezik ili piše na jeziku koji nije prvi, često koristi uži rečnik, kraće rečenice i pravilnije konstrukcije jer izbegava rizik. To je statistički slično mašinskom tekstu. Zato rezultat za takve autore treba čitati sa dodatnim oprezom, a upotreba rezultata protiv njih bez drugih dokaza nije pravična. Isto važi za učenike nižih razreda i za sve koji pišu po strogom obrascu.

Pravni, tehnički i administrativni stil

Stručni tekstovi sadrže ustaljene formulacije („u skladu sa“, „shodno članu“, „u cilju“), što smanjuje raznolikost i podiže skor. Nije greška autora što je stil takav.

Kratki tekstovi

Što je tekst kraći, to je statistika slabija. Pasus od nekoliko rečenica ne daje dovoljno materijala. Alat AdeptWrite traži najmanje 40 reči, ali i iznad toga je rezultat znatno manje pouzdan za tekstove kraće od oko 150 reči.

Tekst koji je prošao kroz alate za ispravljanje

Tekst koji ste popravili alatom za gramatiku, parafraziranje ili „poljepšavanje“ može biti označen kao mešovit ili kao mašinski, čak i kada su sve misli vaše. To važi i za AdeptWrite alate za pisanje.

Propusti u suprotnom smeru

Mašinski tekst koji je dovoljno izmenjen, preformulisan ili „humanizovan“ često prolazi neprimećen. Detektor nije filter koji zaustavlja svaki generisani tekst, pa ni nizak skor ne znači da je tekst ljudski.

Kako čitati rezultat AdeptWrite AI detektora

AI detektor prikazuje tri stvari: oznaku (verovatno ljudski, mešovito ili neizvesno, verovatno AI), skor koji je uvek označen kao procena (≈) i rečenice koje deluju najviše mašinski. Obratite pažnju na sledeće.

• Skor je procena. Kalibrisan je na test podacima sa jednakim brojem ljudskih i mašinskih tekstova i nije verovatnoća da je baš vaš tekst napisao program.
• Označene rečenice su slabiji dokaz od ukupne procene.
• Uz rezultat stoje izmerene vrednosti iz testa i spisak ograničenja. Brojke prikazane uz rezultat i u odeljku o metodi čitajte onako kako su napisane i ne prenosite ih kao „tačnost alata“. Za jezike za koje nisu merene, alat to kaže, pa to tumačite kao poruku „nije procenjeno za ovaj jezik“, a ne kao odobrenje.
• Postoje ograničenja: kratki tekstovi su manje pouzdani, preformulisan ili „humanizovan“ mašinski tekst se često promaši, jednostavno ili šablonsko pisanje i pisanje autora koji nisu maternji govornici može biti pogrešno označeno, a novi jezički modeli mogu da se razlikuju od onih na kojima je alat testiran.
• Pismo i jezik: za srpski se očekuje ćirilica, pa alat uz tekst na latinici može da prikaže napomenu o pismu; to je očekivano i ne znači grešku. Da li je tačnost za srpski izmerena, alat navodi uz rezultat, a ako nije, tumačite procenu s dodatnim oprezom.
• Ograničenja unosa: najmanje 40 reči i najviše 6.000 karaktera po proveri.
• Obrada: statistički deo obrade radi u vašem pregledaču. Opcioni „dubinski“ pregled šalje tekst modelu na zahtev, samo za taj zahtev i bez čuvanja, a alat to izričito naglašava pre slanja.

Najvažnija rečenica u alatu glasi približno ovako: rezultat nikad ne sme da bude jedini dokaz protiv neke osobe. To je i pravilo ovog vodiča.

Šta da radite ako vas neko optuži da ste koristili AI

Ako vam nastavnik, mentor ili poslodavac kaže da je detektor označio vaš rad, postupite mirno i metodično.

1. Ne priznajte ono što niste uradili i ne brišite dokumente. Sačuvajte sve.
2. Zatražite da vidite rezultat i da saznate koji je alat korišćen, koja je tačno ocena i na koji deo teksta se odnosi.
3. Sakupite dokaze o nastanku rada: istoriju verzija u dokumentu (Word, Google dokumenti), beleške, nacrte, pretraživane izvore, rukom pisane skice.
4. Ponudite da objasnite rad. Razgovor o sadržaju, kratka usmena provera ili pisanje sličnog pasusa pred nastavnikom pokazuju razumevanje bolje od bilo kog programa.
5. Navedite poznata ograničenja. Možete mirno da kažete da ozbiljni detektori, uključujući AdeptWrite, sami navode da rezultat nije dokaz i da može biti pogrešan za jednostavan stil i za autore koji nisu maternji govornici.
6. Pozovite se na pravila ustanove. Pogledajte da li škola ili fakultet imaju pisano pravilo o upotrebi AI alata i o postupku kada se sumnja na povredu, a ako imaju, tražite da se po njemu i postupa. Obratite se razredniku, mentoru, studentskom pravobranitelju ili savetniku, odnosno nadležnoj službi ustanove.

Ako ste zaista koristili alat, recite to otvoreno i objasnite kako: za ispravljanje pravopisa, za ideje, za prevod. Mnoge ustanove dozvoljavaju takvu pomoć uz napomenu, a pravila se razlikuju.

Šta da radi onaj ko proverava tuđe tekstove

• Tretirajte rezultat kao razlog za razgovor, ne kao presudu.
• Uporedite sa ranijim radovima istog autora, ali i to je samo trag.
• Tražite dokaz o nastanku rada, a ne samo ocenu programa.
• Uzmite u obzir kratkoću teksta, žanr i jezik autora.
• Jasno unapred recite učenicima i studentima šta je dozvoljeno, a šta ne.

Za razliku od provere plagijata, gde program može da pokaže poklopljeni izvor koji se može otvoriti i uporediti, AI detektor ne može da pokaže nikakav izvor. Razlika je suštinska: o preuzetom tekstu postoji trag koji se proverava, o mašinskom stilu postoji samo verovatnoća. Više o tome u vodiču Šta je plagijat.

Šta pisac može da uradi da bi tekst bio zaista njegov

Cilj nije „prevariti“ detektor, nego pisati tekst koji je vaš i koji možete da odbranite.

• Počnite od sopstvenog plana i sopstvenih primera; alat za pisanje koristite za proveru, ne za misao.
• Dodajte konkretne detalje koje samo vi znate: mesto, datum, ime kursa, rezultat vašeg istraživanja.
• Čuvajte nacrte i istoriju verzija.
• Ako koristite AI alat, zabeležite kako i prijavite to tamo gde ustanova to traži.
• Pročitajte tekst naglas i izmenite sve što zvuči kao da ga niste vi pisali.

AdeptWrite humanizer je zamišljen kao pomoć pri uređivanju: nudi da vaš nacrt zvuči prirodnije i lično uz isto značenje. Nije alat za zaobilaženje provere, a ako ustanova traži da se upotreba AI alata navede, to morate učiniti.

Kontrolna lista za čitanje rezultata detektora

• Znam da je rezultat procena, ne dokaz.
• Pogledao/la sam dužinu teksta (da li je dovoljno dugačak).
• Uzeo/la sam u obzir žanr i jezik autora.
• Pročitao/la sam ograničenja koja alat navodi.
• Poredim sa drugim dokazima: verzije, beleške, razgovor.
• Ne donosim odluku samo na osnovu broja.

Zaključak

AI detektori mere statističku sličnost, ne poreklo teksta, i zato rade najbolje kao polazna tačka za razgovor, a ne kao sud. Greše na kratkim, jednostavnim i šablonskim tekstovima i na tekstovima autora kojima srpski nije maternji, a propuštaju preformulisane mašinske tekstove. Zato se rezultat uvek poredi sa drugim tragovima nastanka rada. Ako želite da pogledate kako izgleda procena sa upisanim ograničenjima, probajte AI detektor, a pojmove pronađite u rečniku pojmova.

← Svi vodiči