Ako fungujú AI detektory a prečo sa mýlia v slovenčine

AI detektor porovná štatistické vlastnosti textu, napríklad opakovanie slov a rytmus viet, so vzormi ľudských a strojových textov a vypočíta odhad. Nie je to dôkaz. Chybuje najmä pri úradných, šablónovitých textoch a pri pisateľoch, ktorým slovenčina nie je materinská, a pri slovenčine býva menej preskúmaný než pri angličtine.

Ako fungujú AI detektory: stručná odpoveď

AI detektor nezisťuje, kto text napísal. Počíta, ako veľmi sa text podobá na texty, ktoré ho naučili rozpoznávať. Výsledkom je odhad, často vo forme percenta alebo pásma (napríklad „pravdepodobne človek“, „zmiešané“, „pravdepodobne AI“). Takýto odhad môže byť nesprávny v oboch smeroch: môže označiť ľudský text za strojový aj prehliadnuť strojový text.

Z toho vyplýva základné pravidlo: výsledok detektora nikdy nepoužívajte ako jediný dôkaz proti človeku. Rovnaké upozornenie nájdete aj pod výsledkom nástroja AI detektor textu od AdeptWrite.

Čo detektor v skutočnosti meria

Detektory sa líšia technikou, ale väčšina sa opiera o jednu z dvoch myšlienok.

1. Predvídateľnosť textu

Jazykové modely skladajú text slovo po slove z pravdepodobných pokračovaní. Výsledok je často plynulý a „vyhladený“. Detektor teda sleduje, nakoľko je text predvídateľný, a koľko sa v ňom mení dĺžka a stavba viet. Ľudskí autori zvyknú písať nerovnomernejšie: krátka veta, potom dlhá, nečakaná odbočka. Táto nerovnomernosť sa v literatúre o detekcii nazýva rôznorodosť viet.

2. Naučený klasifikátor

Druhý prístup používa model natrénovaný na veľkej zbierke textov označených ako ľudské alebo strojové. Model sa učí štatistické znaky: ako často sa objavujú určité skupiny písmen a slov, aká je dĺžka viet a podobne. Nástroj AdeptWrite používa takýto klasifikátor, ktorý beží priamo vo vašom prehliadači; text sa pri základnej analýze neodosiela na server. Voliteľná „hlboká analýza“ pošle text na druhý názor od AI modelu, ale iba keď o to požiadate.

Spoločná slabina oboch prístupov: ani jeden nevidí pôvod textu. Vidí len jeho povrch.

Prečo sa detektory mýlia

Falošne pozitívne výsledky: ľudský text označený ako AI

Najzávažnejšia chyba je, keď detektor označí text napísaný človekom. Stáva sa to najčastejšie pri textoch, ktoré sú prirodzene jednotvárne alebo predpísané. Tri slovenské príklady (texty sú vymyslené):

Úradný text. Veta ako „Na základe vyššie uvedeného vás žiadame o doloženie potrebných dokladov v lehote do 15 dní odo dňa doručenia tejto výzvy“ je ustálená formulácia. Takých viet sú v úradnej slovenčine tisíce, takže ich štatistika je pravidelná a predvídateľná, a práve to detektor vníma ako „strojové“.

Šablónovitý motivačný list. „Dovoľte mi, aby som sa uchádzal o pozíciu administratívneho pracovníka vo Vašej spoločnosti. Som komunikatívny, flexibilný a tímový hráč.“ Takto začína veľa listov podľa príručiek. Pravidelnosť a bežné frázy znižujú rozmanitosť, a pre detektor to je podozrivé. Ako napísať osobnejší list, ukazuje návod ako napísať motivačný list.

Text pisateľa, pre ktorého slovenčina nie je materinská. Kto sa učí slovenčinu, často používa kratšie vety, jednoduchšiu slovnú zásobu a pravidlá, ktoré sa naučil naspamäť. Text je správny, ale štatisticky „plochý“. Odborné štúdie (najmä k angličtine) opakovane upozorňujú, že práve takéto texty sa označujú nespravodlivo. Nástroj AdeptWrite to uvádza aj v svojich obmedzeniach: jednoduchý, šablónovitý alebo nerodený pisateľský prejav môže byť chybne označený.

Falošne negatívne výsledky: AI text označený ako ľudský

Strojový text, ktorý niekto upravil, preformuloval alebo „zľudštil“, detektory často prehliadnu. Opačný prípad je rovnako možný: text, ktorý ste napísali sami a len ste ho poopravili gramatickým alebo parafrázovacím nástrojom (vrátane nástrojov AdeptWrite), môže detektor označiť za zmiešaný alebo strojový.

Krátke texty

Pod približne 150 slovami je odhad omnoho menej spoľahlivý. Nástroj AdeptWrite vyžaduje aspoň 40 slov a pri veľmi krátkom texte výsledok nezobrazí, ale ani nad touto hranicou nie je spoľahlivý. Odpoveď na tri vety nie je dôkaz o ničom.

Slovenčina: prečo je tu opatrnosť dvojnásobná

Väčšina verejných výskumov a testovacích zbierok pre detekciu vznikla na angličtine. Slovenčina má bohatú flexiu (skloňovanie a časovanie) a voľnejší slovosled, čo mení štatistické vlastnosti textu oproti angličtine. Detektor, ktorý je dobre kalibrovaný pre angličtinu, nemusí byť rovnako presný pre slovenčinu.

AdeptWrite to rieši poctivo: model je trénovaný na viacerých jazykoch a pri každom jazyku sa na stránke nástroja zobrazí, či bola presnosť pre daný jazyk zmeraná. Ak nie, výsledok je označený ako nevyhodnotený pre tento jazyk a treba ho čítať s mimoriadnou opatrnosťou. Konkrétne čísla vždy uvádza samotný nástroj spolu s dátumom merania a so zoznamom obmedzení (podľa ml/aidetect/SPEC.md, kapitola 12). Preto v tomto návode nenájdete žiadne percento presnosti: číslo, ktoré neplatí pre váš jazyk a váš typ textu, by bolo zavádzajúce.

Ďalšie obmedzenia, ktoré nástroj uvádza:

• Parafrázovaný, upravený alebo „zľudštený“ AI text zvyčajne prejde.
• Nové generátory píšu inak než tie, na ktorých sa model učil, takže ich môže prehliadnuť.
• Dokumenty s ľudskými aj strojovými časťami často skončia v pásme „zmiešané alebo neisté“.
• Skóre nie je pravdepodobnosť, že práve tento text napísala AI.

Jeden text, tri čítania: ukážka

Predstavte si vymyslený odsek z referátu o recyklácii: „Recyklácia je dôležitá pre životné prostredie. Pomáha znižovať množstvo odpadu. Okrem toho šetrí suroviny. Preto by sme mali triediť odpad.“ Štyri krátke vety, rovnaký rytmus, žiadny konkrétny príklad. Detektor v takom texte nenájde nič, čo by ho odlišovalo od strojového výstupu, hoci ho mohol napísať žiak piatej triedy.

Ten istý odsek prepísaný konkrétnejšie: „V našej obci sme minulý rok pri škole osadili kontajnery na papier a plasty. Triedime ich v rodine od jesene a smetný kôš sa nám plní oveľa pomalšie.“ Obsahuje konkrétne miesto, čas a osobnú skúsenosť, a práve takéto detaily sa strojovo vyrábajú ťažšie. Nejde o trik na oklamanie nástroja. Ide o to, že osobný, konkrétny text je lepší text.

Z toho plynú tri čítania toho istého výsledku:

1. Vysoké skóre pri všeobecnom, krátkom texte hovorí málo o autorstve a viac o štýle textu.
2. Nízke skóre pri upravenom AI texte nič nedokazuje, pretože úpravy detektor bežne zmiasť.
3. Zvýraznené vety ukazujú, ktoré miesta pôsobia najpravidelnejšie, a to je podnet na úpravu textu, nie obvinenie.

Pre učiteľov a redaktorov: ako výsledok čítať

Ak hodnotíte cudzie texty, pripravte si pár zásad ešte predtým, ako sa objaví prvé podozrenie.

• Najprv rozhovor, potom záver. Pozvite autora, aby vysvetlil, ako text vznikal, a nechajte ho ústne rozviesť jednu či dve myšlienky z práce.
• Porovnajte so staršími prácami toho istého autora. Náhla zmena štýlu je silnejší signál než skóre, ale ani ona nie je dôkaz, pretože ľudia sa učia a menia.
• Zohľadnite typ úlohy. Vyplnený formulár, úradný list alebo prekladová úloha budú vždy pôsobiť „pravidelne“.
• Zaznamenávajte postup. Ak škola používa detektory, mala by mať písomné pravidlá o tom, čo sa s výsledkom robí a ako sa môže študent brániť.
• Dajte prednosť spôsobu hodnotenia, ktorý sa nedá nahradiť strojom: priebežné koncepty, ústna obhajoba, práca v triede.

Čo ešte pomáha pri vlastnom písaní

Ak píšete odborný text a chcete, aby bol osobný a presný, začnite od zdrojov a poznámok vlastnými slovami. Hotový text skontrolujte kontrolou pravopisu a overte, či ste všade uviedli zdroje. Nástroje na úpravu textu, ako AI humanizer, sú pomôcka na vyhladenie konceptu, nie spôsob, ako obísť pravidlá školy; zodpovednosť za výsledný text a za dodržanie týchto pravidiel ostáva na vás.

Čo robiť, keď vás detektor označí

Ak ste text napísali sami a niekto vám predloží výsledok detektora, nepanikárte a nerobte nič unáhlené.

1. Požiadajte o konkrétny postup. Ktorý nástroj, aký výsledok a aké pravidlo školy sa porušilo?
2. Ukážte priebeh písania. História verzií v textovom editore (Word, Google Dokumenty), poznámky, koncepty a zdroje sú oveľa silnejší dôkaz než akýkoľvek detektor.
3. Buďte pripravení text vysvetliť. Kto text písal, vie povedať, prečo si zvolil určité slová a argumenty.
4. Poukážte na obmedzenia nástrojov. Citujte vyhlásenia samotných nástrojov, že ide o odhad.
5. Poznajte pravidlá svojej školy. Postup pri podozrení určuje študijný poriadok, etický kódex alebo smernica o záverečných prácach.

Pravidlá škôl pre AI pri písaní prác

Neexistuje jedno slovenské pravidlo pre všetky školy. Niektoré fakulty používanie AI zakazujú, iné ho dovoľujú s priznaním, ďalšie ponechávajú rozhodnutie na vyučujúcom. Overte si preto vždy aktuálne znenie vo vlastnej škole: študijný poriadok, smernica o záverečných prácach, etický kódex a pokyny k predmetu. Ak škola vyžaduje uviesť použitie AI, uveďte, na čo ste ju použili (napríklad na nápady, korektúru, preklad) a ktorý nástroj. Súvisiace pojmy rozoberá návod čo je plagiát.

Ako používať detektor správne

Ak AI detektor používate sami, napríklad ako autor, ktorý chce vedieť, ako jeho text pôsobí, alebo ako redaktor:

• Berte výsledok ako jeden signál medzi viacerými, nie ako verdikt.
• Použite dostatočne dlhý text, najlepšie niekoľko odsekov.
• Pozrite si zvýraznené vety, ale pamätajte, že to je slabší dôkaz než celkový odhad.
• Nikdy nehodnoťte ani nepotrestajte človeka len na základe skóre.
• Ak píšete sami a výsledok vás prekvapí, skúste text upraviť osobnejšie: doplňte konkrétny príklad zo svojho života, vlastný postoj, presné čísla a mená. Neslúži to na „oklamanie“ nástroja, ale na to, aby bol text vašim textom.

Zhrnutie

Nástroj vyskúšajte na vlastnom texte, ale výsledok čítajte tak, ako ho popisuje sám: ako štatistický odhad s uvedenými obmedzeniami.

← Všetky návody