Kaip veikia AI detektoriai ir kodėl jie klysta: sąžiningas paaiškinimas lietuviškai

AI detektorius neatpažįsta autoriaus, jis tik skaičiuoja statistinius teksto požymius: žodžių pasirinkimą, nuspėjamumą ir sakinių ritmą. Rezultatas yra įvertis, o ne įrodymas, todėl jis klysta abiem kryptimis, ypač su trumpais, šabloniškais ar ne gimtąja kalba rašytais tekstais. Lietuvių kalbai įvertinimas dar silpnesnis, nes kalba turtingai linksniuojama, o duomenų mažiau.

Trumpai: ką daro AI detektorius ir ko nedaro

AI detektorius yra programa, kuri įvertina, ar tekstas statistiškai panašus į dirbtinio intelekto (DI) rašytą. Ji nemato, kas ir kaip tekstą kūrė, todėl negali nustatyti autoriaus. Ji tik palygina jūsų tekstą su pavyzdžiais, kuriais buvo apmokyta, ir pateikia skaičių arba grupę, pavyzdžiui, „tikriausiai žmogaus“ ar „tikriausiai DI“.

Svarbiausia taisyklė: tai įvertis, o ne įrodymas. Žemas rezultatas nereiškia, kad tekstą parašė žmogus, o aukštas – kad jį sukūrė DI. Ypač pavojinga remtis vienu skaičiumi sprendžiant apie mokinio, studento ar darbuotojo sąžiningumą.

Šiame vadove paaiškiname, kaip detektoriai skaičiuoja, kodėl klysta, kodėl lietuvių kalba jiems yra sudėtingesnė, kaip protingai skaityti rezultatą ir ką daryti, jei jūsų pačių rašytas tekstas buvo pažymėtas.

Kaip detektorius „sprendžia“, kad tekstas mašininis

Dauguma detektorių remiasi viena idėja: DI kalbos modelis renka kiekvieną kitą žodį pagal tai, kuris labiausiai tikėtinas. Todėl jo tekstas dažnai būna „sklandus“ ir nuspėjamas. Žmogus rašo nevienodiau: kartais pasirenka netikėtą žodį, nutraukia mintį, sutrumpina arba labai ištempia sakinį.

Detektoriai dažniausiai žiūri į tokius požymius:

Dalis detektorių tiesiog apskaičiuoja nuspėjamumą su kalbos modeliu. Kiti naudoja klasifikatorių: programą, kuri buvo apmokyta su tūkstančiais žmonių ir DI parašytų pavyzdžių ir išmoko skirti jų požymių derinius. Treti derina abu būdus arba prideda dar vieną DI „antrą nuomonę“.

Ką daro AdeptWrite detektorius

AdeptWrite AI teksto detektorius naudoja statistinį modelį, kuris skaičiuoja žodžių ir žodžių junginių pasiskirstymą bei sakinių ritmą. Šis skaičiavimas vyksta jūsų naršyklėje. Įrankis rodo „≈ proc.“ įvertį, vieną iš trijų grupių (tikriausiai žmogaus, mišrus ar neaiškus, tikriausiai DI) ir sakinius, kurie skamba labiausiai mašininiai. Neprivaloma gilioji analizė siunčia tekstą DI modeliui dar vienai nuomonei, bet tai įvyksta tik jums pačiam ją įjungus.

Dar kelios svarbios detalės, kurias įrankis rodo ir kurias verta žinoti:

• Įvertis niekada nerodomas kaip 0 % ar 100 %, nes tokio tikrumo nėra.
• Įvertis sukalibruotas bandomuosiuose duomenyse, kuriuose žmonių ir DI tekstų yra po lygiai. Todėl tai nėra tikimybė, kad būtent jūsų tekstą parašė DI.
• Reikia bent 40 žodžių, o vienam paleidimui telpa iki 6 000 simbolių. Tekstai, trumpesni nei maždaug 150 žodžių, vertinami daug mažiau patikimai.
• Prie rezultato rodomi žinomi apribojimai ir išmatuoti rodikliai, jei jie yra.

Kodėl detektoriai klysta

Klaidų būna dviejų rūšių, ir abi svarbios.

Klaidingas teigiamas rezultatas – žmogaus tekstas pažymimas kaip DI. Tai skaudžiausia klaida, nes ji gali neteisingai apkaltinti žmogų. Dažniausiai ją lemia:

1. Šabloninis rašymas. Mokykloje mokoma rašyti pagal schemą: tezė, argumentas, pavyzdys, išvada. Tokie tekstai nuspėjami ir panašūs vienas į kitą.
2. Rašymas ne gimtąja kalba. Žmogus, kuris lietuvių kalbą išmoko kaip antrąją, dažniau renkasi paprastesnius, dažnesnius žodžius ir saugias konstrukcijas, o tai statistiškai primena mašiną.
3. Redagavimas įrankiais. Gramatikos tikrinimas ar perfrazavimas padaro tekstą tvarkingesnį ir vienodesnį. AdeptWrite apribojimuose tai nurodoma tiesiogiai: tekstas, ištaisytas ar perfrazuotas DI priemonėmis, įskaitant mūsų pačių gramatikos tikrintuvą ir perfrazuotoją, gali būti pažymėtas kaip mišrus ar tikriausiai DI.
4. Trumpas tekstas. Iš trijų sakinių statistika beveik nieko negali pasakyti.
5. Formalus žanras. Sutartys, nuostatai, ataskaitos, pranešimai spaudai ir apibrėžimai savaime nuspėjami.

Klaidingas neigiamas rezultatas – DI tekstas praslysta. Taip nutinka, kai tekstas perrašytas, redaguotas rankomis, sumaišytas su žmogaus pastraipomis arba sukurtas naujesniu modeliu, kurio detektorius nematė apmokymo metu. Todėl niekas negali garantuoti, kad „švarus“ rezultatas reiškia, jog DI nebuvo naudotas.

Mes nenurodome vieno „tikslumo“ procento, nes toks skaičius klaidintų: jis priklauso nuo teksto ilgio, žanro, kalbos, modelio, kuris tekstą sukūrė, ir nuo to, ar tekstas buvo redaguotas.

Kodėl lietuvių kalba detektoriams ypač sudėtinga

Dauguma detektorių pirmiausia kuriami ir tikrinami su anglų kalba. Lietuvių kalbai iškyla papildomų kliūčių.

Turtinga linksniuotė ir kaitybos formos. Vienas žodis lietuvių kalboje turi daug formų: namas, namo, namui, namą, namu, name, o dar daugiskaitos formos. Statistiniam modeliui kiekviena forma yra atskiras požymis, todėl žodžių dažniai skaidosi smulkiau, o duomenų kiekis, reikalingas patikimai statistikai, išauga.

Laisvesnė žodžių tvarka. Lietuvių sakinyje žodžių tvarka lankstesnė nei anglų, nes ryšį rodo galūnės. Dėl to „nuspėjamumo“ matavimas, sukurtas kalboms su griežta tvarka, ne visada tinka.

Mažesnis mokymo duomenų kiekis. Lietuviškų tekstų, kuriuos būtų galima naudoti detektoriui apmokyti ir patikrinti, yra gerokai mažiau nei angliškų. Mažiau pavyzdžių reiškia silpnesnį kalibravimą ir mažiau patikimą klaidų dažnio įvertinimą.

Vertimų ir „išverstos“ lietuvių kalbos poveikis. DI tekstas lietuviškai kartais skamba kaip išverstas iš anglų kalbos. Bet taip pat skamba ir žmogaus tekstai, kurie buvo versti ar rašyti su anglų kalbos įtaka. Skirti vienus nuo kitų statistiškai sunku.

Ką tai reiškia praktiškai. AdeptWrite nėra paskelbęs atskiro išmatuoto tikslumo skaičiaus lietuvių kalbai. Jei lietuvių kalbos tikslumas neįvertintas, įrankis tai pasako prie rezultato, ir tada jį reikia skaityti ypač atsargiai. Mes neskelbiame tokio skaičiaus, kol jis nėra išmatuotas, o išmatuotus rodiklius įrankis parodo pats.

Kaip protingai skaityti rezultatą

Jei vis dėlto naudojate detektorių, laikykitės šių žingsnių:

1. Pirmiausia skaitykite apribojimus, o ne skaičių. Ar tekstas pakankamai ilgas? Ar kalba įvertinta?
2. Žiūrėkite į grupę. „Mišrus ar neaiškus“ yra sąžiningas atsakymas, o ne nesėkmė.
3. Paryškintus sakinius vertinkite kaip užuominą. Jie yra silpnesnis įrodymas nei bendras įvertis.
4. Tikrinkite vientisą ilgesnę ištrauką, ne atskirus sakinius. Statistika iš kelių eilučių nepatikima.
5. Palyginkite kelis to paties autoriaus tekstus. Jei vienas iš daugelio staiga išsiskiria, tai verta pokalbio, bet ne išvados.
6. Niekada nesiremkite vien detektoriumi spręsdami dėl nuobaudos, pažymio ar atleidimo.

Detektoriaus sąsajoje visada primenama, kad rezultato negalima laikyti vieninteliu įrodymu prieš žmogų, ypač kai rašoma ne gimtąja kalba, šabloniškai ar redaguotu DI tekstu.

Ką daryti, jei jūsų pačių parašytas tekstas pažymėtas kaip DI

Tai atsitinka, ir tai nėra jūsų kaltės įrodymas. Rekomenduojami veiksmai:

1. Nepanikuokite ir nepulkite taisyti teksto. Prieš ką nors keisdami išsaugokite originalą.
2. Surinkite rašymo proceso pėdsakus. Tai juodraščiai, planas, užrašai, šaltinių sąrašas, dokumento versijų istorija (pavyzdžiui, „Google Docs“ ar „Word“ keitimų žurnalas) ir datos.
3. Paprašykite, kad rezultatą įvertintų žmogus. Mandagiai paklauskite dėstytojo ar mokytojo, ar galite paaiškinti, kaip rašėte, ir pasiūlykite trumpai pakalbėti apie darbo turinį. Žmogus, kuris tikrai rašė tekstą, gali paaiškinti savo argumentus, šaltinius ir sprendimus.
4. Pasidomėkite taisyklėmis. Mokyklų ir universitetų taisyklės dėl DI skiriasi: kai kur DI draudžiamas, kai kur leidžiamas nurodant. Perskaitykite savo mokyklos ar universiteto akademinės etikos nuostatus ir, jei reikia, kreipkitės į akademinės etikos komisiją ar studentų atstovybę.
5. Paprašykite nurodyti, kuo remiamasi. Pagrįstas kaltinimas turi remtis ne vien programos skaičiumi.

Jei DI iš tiesų naudojote, geriau pasakyti tiesiai ir paaiškinti, kam ir kiek. Taisyklių, kur ir kaip galima naudoti DI, laikykitės pagal savo mokyklos ar darbovietės nuostatas.

Ką daryti, jei jūs tikrinate kitų tekstus

Dėstytojams, mokytojams ir redaktoriams:

• Laikykite detektorių pokalbio pradžia, ne nuosprendžiu.
• Palyginkite su ankstesniais to paties žmogaus darbais ir su tuo, ką jis gali paaiškinti žodžiu.
• Vertinkite, ar yra šaltiniai, ar jie iš tiesų egzistuoja, ar citatos tikros. DI klaidingai „išrasti“ šaltiniai yra patikimesnis ženklas nei statistinis įvertis.
• Atkreipkite dėmesį į ne gimtąja kalba rašančius ir į šabloninius žanrus: jiems klaidingų teigiamų rezultatų rizika didesnė.
• Dokumentuokite, kas buvo nuspręsta ir kodėl, o žmogui palikite galimybę atsakyti.

Detektorius, plagiato patikra ir kiti įrankiai: kuo jie skiriasi

DI sukurtas tekstas gali neturėti jokių sutapimų su kitais šaltiniais, o žmogaus rašytas gali būti pažymėtas kaip panašus į DI. Todėl vienas įrankis niekada neatsako į klausimą „ar tai sąžiningas darbas?“.

Kaip patiems rašyti, kad tekstas skambėtų savaime

Tikslas ne „apgauti detektorių“, o rašyti savo balsu, nes tai ir gerina tekstą.

• Pradėkite nuo savo minties, ne nuo bendro įvado. Pirmas sakinys turi sakyti kažką konkretaus.
• Naudokite konkrečius pavyzdžius: savo miesto, mokyklos, darbo vietos, perskaitytos knygos.
• Keiskite sakinių ilgį. Po ilgo sakinio gali eiti trumpas.
• Venkite tuščių pereinamųjų frazių, tokių kaip „šiandienos sparčiai besikeičiančiame pasaulyje“ ar „verta pažymėti, kad“.
• Skaitykite tekstą garsiai. Kur užsikertate, ten dažnai ir šabloniška.
• Jei pradėjote nuo DI juodraščio, perrašykite jį savo žodžiais ir patikrinkite faktus. Juodraštį natūraliau perrašyti gali padėti AI teksto humanizavimas, bet tai juodraščio atnaujinimas, o ne atsakomybės perkėlimas, o rezultatą vis tiek turite perskaityti ir pataisyti patys. Detektorius vertina statistiką, o ne tai, kaip tekstas buvo sukurtas, todėl ir taip perrašytas tekstas gali būti pažymėtas.

Pavyzdžiui, šabloninį sakinį:

Prieš: „Šiandienos sparčiai besikeičiančiame pasaulyje labai svarbu suprasti, kad technologijos suteikia daugybę galimybių.“

Po: „Vilniaus bibliotekoje per egzaminų sesiją vietų nebelieka jau ryte, ir daugelis studentų mokosi su išmaniaisiais įrankiais.“

Antrasis sakinys konkretus, jame yra vieta, laikas ir stebėjimas, todėl jį sunku supainioti su bendra frazeologija. Pavyzdys sukurtas mokymui ir nėra paimtas iš konkretaus darbo.

Dažniausios klaidos naudojant detektorius

• Skaičiaus laikymas tikimybe. „Įvertis ≈ 70 %“ nereiškia, kad 70 % tikimybė, jog tekstą parašė DI.
• Trumpų ištraukų tikrinimas. Vieno sakinio ar pastraipos rezultatas beveik nieko nereiškia.
• Vieno detektoriaus pasitikėjimas. Skirtingi detektoriai duoda skirtingus rezultatus tam pačiam tekstui, o tai savaime rodo, kad tai ne tikslus matavimas.
• Teksto „taisymas“ iki geresnio rezultato. Jei tekstą keičiate tik tam, kad detektorius rodytų mažiau, galite pabloginti patį tekstą.
• Detektoriaus naudojimas kaip nuosprendžio. Tai priemonė, kuri padeda užduoti klausimą, o ne atsakyti į jį.

Kada detektorius vis dėlto naudingas

Detektorius naudingas kaip savo paties kontrolės priemonė: paleidę savo juodraštį pamatysite, kurios vietos skamba šabloniškai. Redaktorius gali greitai pastebėti DI parengtų juodraščių vietas, kurias verta perrašyti. Dėstytojas gali jį panaudoti kaip vieną iš daugelio užuominų pradėti pokalbį. Visais atvejais žmogaus sprendimas ir nuoseklūs įrodymai svarbesni už programos skaičių.

← Visi vadovai