Jak działają detektory tekstu AI i dlaczego się mylą

Detektor tekstu AI to program statystyczny: porównuje cechy tekstu, takie jak przewidywalność słów i rytm zdań, z wzorcami tekstów ludzkich i maszynowych, a potem podaje szacunek. To nie dowód autorstwa. Mylą się szczególnie przy tekstach krótkich, schematycznych, urzędowych i pisanych przez osoby uczące się polskiego, dlatego wynik nie może być jedyną podstawą oskarżenia.

Jak działa detektor AI: krótka odpowiedź

Detektor tekstu AI nie czyta ze zrozumieniem i nie wie, kto napisał tekst. Mierzy cechy statystyczne: jak przewidywalne są kolejne słowa, jak bardzo różnią się długości zdań, jakie zwroty się powtarzają. Następnie porównuje je z wzorcami wyuczonymi na zbiorze tekstów napisanych przez ludzi i generowanych przez modele. Wynik to szacunek podobieństwa do tekstu maszynowego, a nie stwierdzenie faktu.

Z tego wynika najważniejsza zasada: wynik detektora może być błędny w obie strony. Tekst napisany przez człowieka bywa oznaczony jako „AI” (fałszywy alarm), a tekst wygenerowany i zredagowany przez człowieka często przechodzi niezauważony. Poniżej wyjaśniamy, jak to działa, skąd biorą się pomyłki w języku polskim, jak czytać wynik i co zrobić, gdy ktoś Cię nim oskarża.

Dwie rodziny metod

1. Miary przewidywalności (perplexity i burstiness)

Model językowy potrafi ocenić, jak bardzo zaskakuje go dane słowo w danym miejscu. Tekst generowany przez model składa się zwykle ze słów, które były dla niego bardzo prawdopodobne, więc jest „gładki” i mało zaskakujący. Tekst pisany przez człowieka częściej zawiera nieoczekiwane wybory słów, dygresje i nierówny rytm.

W literaturze angielskojęzycznej mówi się o dwóch miarach:

• perplexity: im mniej zaskakujący tekst, tym niższa wartość;
• burstiness (zmienność): ludzie piszą na przemian krótkie i długie zdania, maszyny często utrzymują podobną długość.

To intuicyjne, ale kruche. Dobrze zredagowany lub schematyczny tekst ludzki też bywa gładki.

2. Klasyfikatory uczone na przykładach

Drugie podejście to klasyfikator: program uczy się na dużym zbiorze oznaczonych przykładów („napisał człowiek” i „napisał model”) i szuka cech, które je odróżniają, na przykład częstych sekwencji słów, interpunkcji i miar stylu. Dobrze radzi sobie z tekstami podobnymi do tych, na których się uczył. Gorzej, gdy pojawia się nowy model, inny styl albo inny język. Jak każdy klasyfikator, wylicza prawdopodobieństwo, które potem zamienia się na kategorie.

Niektóre narzędzia dodają jeszcze trzeci element: drugą opinię modelu językowego, który opisuje, które cechy tekstu przypominają pisanie maszynowe. Taka opinia bywa pomocna, ale jest równie niepewna.

Jak działa detektor AdeptWrite

Detektor AI w AdeptWrite oparty jest na modelu statystycznym działającym w przeglądarce. Liczy cechy tekstu i podaje:

• przedział: raczej napisane przez człowieka, niepewne lub raczej wygenerowane przez AI;
• orientacyjny wynik procentowy, zawsze z symbolem „≈”, żeby było widać, że to przybliżenie;
• podświetlone fragmenty, które brzmią najbardziej „maszynowo”, jako słabszy dowód niż wynik całościowy;
• listę ograniczeń i ostrzeżenie, że wyniku nie wolno traktować jako jedynego dowodu przeciw osobie.

Najważniejsze zasady uczciwego opisu, zgodnie ze specyfikacją narzędzia:

• Wynik to szacunek statystyczny, nie dowód. Nie jest prawdopodobieństwem, że ten konkretny tekst napisała AI.
• Wynik jest skalibrowany na danych testowych, więc na tekstach innego typu niż testowe bywa mniej wiarygodny.
• Krótkie teksty (poniżej około 150 słów) są oceniane znacznie mniej wiarygodnie. Narzędzie wymaga co najmniej 40 słów i przyjmuje do 6000 znaków na jedno uruchomienie.
• Tekst parafrazowany, zredagowany lub „zhumanizowany” zwykle umyka, a tekst poprawiony narzędziami opartymi na AI, w tym gramatyką czy parafrazą AdeptWrite, może dostać etykietę „niepewne” lub „raczej AI”.
• Dokładność jest mierzona dla języków, które mają dane testowe. Gdy ich nie ma, strona pisze, że dla danego języka skuteczności jeszcze nie zmierzono, i trzeba czytać wynik ze szczególną ostrożnością.
• Nie zmierzyliśmy jeszcze w każdym języku, jak często wypracowania uczniów i osób uczących się języka są oznaczane błędnie.

Dlatego nie podajemy jednej liczby „skuteczności”, bo bez podania zbioru testowego, języka i progu byłaby bezwartościowa. Szczegóły mierzonych wartości znajdziesz w sekcji „Uczciwe ograniczenia” na stronie narzędzia.

Dlaczego detektory się mylą: polskie przykłady

Poniższe teksty są wymyślone, ale pokazują typowe sytuacje.

Teksty urzędowe i schematyczne

Zgodnie z art. 10 ust. 1 niniejszego regulaminu, uczestnik zobowiązany jest do niezwłocznego powiadomienia organizatora o zmianie danych kontaktowych. Powiadomienie następuje w formie pisemnej lub elektronicznej.

Taki tekst ma przewidywalne słownictwo i stały rytm, bo takie są wzorce pisma urzędowego. Detektor widzi „gładkość” i może ją uznać za maszynową, mimo że napisał ją prawnik. To samo dotyczy regulaminów, instrukcji, ogłoszeń o przetargach i procedur BHP.

Teksty uczniowskie i pisane według wzoru

Rozprawka według schematu szkolnego („Teza. Argument pierwszy. Argument drugi. Podsumowanie”) ma sztywną budowę i podobne zwroty łączące. Uczeń, który ćwiczył „wzorcowy” wstęp, może napisać tekst, który statystycznie przypomina szablon.

Teksty osób uczących się polskiego

Osoba, która uczy się polskiego, pisze prostszymi zdaniami, używa ograniczonego słownictwa i powtarza konstrukcje. To dokładnie te cechy, które detektor może wiązać z tekstem maszynowym. Dla osób z Ukrainy, Białorusi czy Wietnamu, które uczą się w polskich szkołach i na polskich uczelniach, to realne ryzyko niesłusznego podejrzenia.

Teksty po korekcie

Autor napisał tekst sam, a potem przepuścił go przez korektę gramatyczną lub narzędzie do poprawiania zdań. Efekt bywa „wygładzony” tak, że detektor go oznacza. Odwrotnie: wygenerowany tekst, w którym ktoś zmienił kilka zdań, często przechodzi.

Teksty krótkie

Dwa zdania lub krótki akapit nie niosą dość materiału statystycznego. Wynik dla 40–60 słów to przybliżenie, a nie diagnoza.

Tabela: co zwiększa i zmniejsza ryzyko pomyłki

Tabela jest ogólnym przewodnikiem po mechanizmie, a nie wynikiem pomiaru: nie podajemy w niej liczb, bo różnią się między narzędziami, językami i zbiorami testowymi.

Jak czytać wynik detektora

1. Zacznij od przedziału, nie od procentu. „Niepewne” znaczy: detektor nie umie rozstrzygnąć, a nie „po części napisał to model”.
2. Sprawdź długość tekstu. Poniżej około 150 słów wynik jest słaby.
3. Pamiętaj o rodzaju tekstu. Pismo urzędowe lub streszczenie według wzoru dają fałszywe alarmy.
4. Podświetlenia traktuj jako wskazówkę. Pokazują zdania najbardziej schematyczne, nie „dowody”.
5. Porównaj z innymi próbkami. Jeśli znasz styl autora z wcześniejszych prac, to ważniejsze od wyniku programu.
6. Nie wyciągaj wniosków dyscyplinarnych z jednego wyniku. To zasada najważniejsza.

Co zrobić, gdy oskarżono Cię o użycie AI

Jeżeli Twoja praca została oznaczona przez detektor, a napisałeś ją sam:

1. Zachowaj spokój i poproś o wskazanie zasady, którą naruszono, i o dokumentację wyniku (nazwa narzędzia, data, fragmenty).
2. Zbierz dowody pracy. Wersje robocze, historia edycji w edytorze, notatki, wykaz źródeł, zdjęcia szkiców. Historia wersji w edytorze online pokazuje, jak tekst powstawał.
3. Zaproponuj rozmowę o treści. Autor potrafi wyjaśnić, dlaczego wybrał dany argument, i omówić źródła.
4. Przedstaw ograniczenia narzędzia. Powołaj się na to, że producenci sami zastrzegają, iż wynik jest szacunkiem. Specyfikacja detektora AdeptWrite wprost mówi, że nie wolno opierać na nim oskarżenia.
5. Sprawdź procedury odwoławcze. Uczelnie mają regulaminy studiów i rzeczników praw studenta albo komisje dyscyplinarne, szkoły statuty. Terminy i tryb odwołań trzeba sprawdzić w dokumentach własnej placówki.

Jeśli jesteś nauczycielem lub promotorem, wynik detektora może najwyżej być powodem do rozmowy, nie rozstrzygnięciem. Lepsze są ustne omówienie pracy, pisanie fragmentu na zajęciach i porównanie ze stylem poprzednich prac.

Jak pisać, by nie wyglądać jak szablon

To nie jest namowa do ukrywania użycia AI, tylko wskazówki dobrego stylu, które i tak poprawiają tekst:

• Używaj konkretów. Zamiast „odgrywa kluczową rolę” napisz, co dokładnie robi i dla kogo.
• Zmieniaj rytm. Przeplataj krótkie zdania długimi.
• Podawaj własne przykłady. Z zajęć, pracy, lektury, okolicy.
• Unikaj pustych wstępów. „W dzisiejszych czasach…” niczego nie wnosi.
• Czytaj na głos. Co brzmi sztucznie dla Ciebie, brzmi sztucznie dla czytelnika.

Do wygładzenia szkicu pomoże przeredagowanie tekstu, a do zmiany szkicu z czatbota w tekst w Twoim głosie humanizer AI. Traktuj je jako narzędzia stylu: jeśli Twoja szkoła lub uczelnia wymaga ujawnienia użycia AI, ujawnij je. Pamiętaj też, że takie narzędzia mogą sprawić, iż tekst w detektorze wyjdzie jako „niepewny”, co niczego nie dowodzi.

Zasady dotyczące własności tekstu opisujemy w poradnikach co to jest plagiat i czym jest ChatGPT. Przypominamy też, że zgodność z innymi tekstami sprawdza antyplagiat, a to zupełnie inne pytanie niż „czy napisała to AI”.

Plagiat a tekst AI: dwa różne pytania

Tekst wygenerowany przez AI może nie mieć żadnego dosłownego odpowiednika w sieci, więc antyplagiat go nie znajdzie, a detektor ma tylko szacunek. Dlatego żadne z tych narzędzi nie rozstrzyga o niesamodzielności samo.

Podsumowanie dla nauczycieli, promotorów i redaktorów

Jeśli oceniasz cudze teksty, traktuj detektor jak termometr, który ma duży margines błędu: może zasygnalizować, że warto porozmawiać z autorem, ale niczego nie rozstrzyga. Zapytaj o proces pisania, poproś o omówienie wybranego akapitu i porównaj tekst z wcześniejszymi pracami tej samej osoby. Taka rozmowa jest sprawiedliwsza wobec autora i daje pewniejsze wnioski niż jakakolwiek liczba procentowa.

Lista kontrolna

• Wynik traktuję jako szacunek, nie dowód.
• Sprawdziłem, czy tekst ma co najmniej 150 słów.
• Wziąłem pod uwagę rodzaj tekstu (urzędowy, szkolny, od osoby uczącej się).
• Mam wersje robocze i notatki, które pokażą, jak powstał tekst.
• Nie opieram żadnej decyzji na jednym wyniku.
• Znam zasady swojej szkoły lub uczelni dotyczące AI.

← Wszystkie poradniki