Πώς λειτουργούν οι ανιχνευτές κειμένου AI και πόσο αξιόπιστοι είναι στα ελληνικά

Ένας ανιχνευτής κειμένου AI δεν «βλέπει» ποιος έγραψε το κείμενο. Συγκρίνει στατιστικά χαρακτηριστικά του (λέξεις, ύφος, ομοιομορφία προτάσεων) με παραδείγματα γραπτών ανθρώπων και μοντέλων και δίνει εκτίμηση. Η εκτίμηση μπορεί να είναι λάθος, ιδίως σε σύντομα κείμενα, μη εγγενείς συντάκτες και επεξεργασμένο AI, και δεν πρέπει να είναι ποτέ η μοναδική απόδειξη εναντίον ενός φοιτητή.

Η σύντομη απάντηση

Οι ανιχνευτές κειμένου AI εκτιμούν, δεν αποδεικνύουν. Μετρούν πόσο μοιάζει ένα κείμενο με γραπτά που παρήγαγαν γλωσσικά μοντέλα, με βάση στατιστικά μοτίβα. Δεν έχουν πρόσβαση στο ιστορικό γραφής, δεν ξέρουν ποιος πάτησε τα πλήκτρα και δεν μπορούν να δουν αν ένας άνθρωπος έγραψε, επεξεργάστηκε ή απλώς έκρινε ένα προσχέδιο. Γι' αυτό ένα υψηλό ποσοστό είναι λόγος να διαβάσετε προσεκτικά και να ρωτήσετε, όχι ετυμηγορία.

Το ίδιο ισχύει και για τον ανιχνευτή κειμένου AI του AdeptWrite: δείχνει κατηγορία (πιθανότατα από άνθρωπο, μικτό ή αβέβαιο, πιθανότατα από AI), μια κατά προσέγγιση βαθμολογία και τα όριά του, και το λέει καθαρά στο αποτέλεσμα.

Πώς δουλεύει ένας ανιχνευτής

Οι περισσότεροι ανιχνευτές ακολουθούν μία από δύο κατευθύνσεις ή συνδυάζουν και τις δύο.

1. Στατιστικά μοτίβα στο ίδιο το κείμενο

Τα γλωσσικά μοντέλα τείνουν να επιλέγουν τις πιθανότερες λέξεις. Το αποτέλεσμα είναι κείμενο ομαλό, ισορροπημένο, με προτάσεις παρόμοιου μήκους και προβλέψιμες επιλογές λέξεων. Ο ανιχνευτής μετρά τέτοια χαρακτηριστικά, για παράδειγμα:

• Προβλεψιμότητα (στη βιβλιογραφία: perplexity): πόσο «αναμενόμενη» είναι κάθε λέξη μέσα στο πλαίσιό της.
• Ποικιλία (στη βιβλιογραφία: burstiness): πόσο αλλάζει το μήκος και η δομή των προτάσεων. Οι άνθρωποι συχνά γράφουν μια μακριά πρόταση και αμέσως μετά μια πολύ σύντομη.
• Επαναλήψεις και στερεότυπες διατυπώσεις, όπως οι ίδιες μεταβατικές φράσεις σε κάθε παράγραφο.

2. Ταξινομητής εκπαιδευμένος σε παραδείγματα

Ένα μοντέλο μηχανικής μάθησης εκπαιδεύεται σε δύο σύνολα κειμένων: γραπτά ανθρώπων και γραπτά μοντέλων AI. Μαθαίνει ποια χαρακτηριστικά ξεχωρίζουν τα δύο σύνολα και μετά βαθμολογεί νέα κείμενα. Ο ανιχνευτής του AdeptWrite ανήκει σε αυτή την κατηγορία: είναι στατιστικό μοντέλο που βασίζεται σε κατακερματισμένες ακολουθίες λέξεων και χαρακτήρων και σε λίγα μέτρα ύφους, και η βασική ανάλυση γίνεται στο πρόγραμμα περιήγησής σας. Υπάρχει και προαιρετική «βαθιά ανάλυση», όπου το κείμενο στέλνεται για αυτό το αίτημα σε μοντέλο AI ως δεύτερη γνώμη· η ένδειξή της περιγράφεται ως πειραματική.

Το σημαντικό: και στις δύο περιπτώσεις το αποτέλεσμα είναι πιθανότητα βασισμένη σε παρόμοια παραδείγματα, όχι ανίχνευση «υπογραφής». Δεν υπάρχει αξιόπιστο, αθέατο υδατογράφημα που να υπάρχει σε κάθε κείμενο AI.

Γιατί οι ανιχνευτές κάνουν λάθη

Τα σύντομα κείμενα

Όσο λιγότερες προτάσεις έχει ένα κείμενο, τόσο λιγότερα στατιστικά στοιχεία υπάρχουν. Το εργαλείο μας απαιτεί τουλάχιστον 40 λέξεις και δέχεται έως 6.000 χαρακτήρες ανά εκτέλεση, και προειδοποιεί ότι κείμενα κάτω από περίπου 150 λέξεις βαθμολογούνται πολύ λιγότερο αξιόπιστα. Μια σύντομη απάντηση σε εξέταση ή ένα σύντομο email δεν αρκεί για συμπέρασμα.

Ο μορφολογικός πλούτος της ελληνικής

Η ελληνική είναι γλώσσα με πλούσια κλίση: ένα ρήμα έχει δεκάδες τύπους, τα ουσιαστικά και τα επίθετα αλλάζουν κατάληξη ανάλογα με πτώση, γένος και αριθμό. Τα δεδομένα εκπαίδευσης και οι δημοσιευμένες μετρήσεις για ανιχνευτές συγκεντρώνονται κυρίως στα αγγλικά· για τα ελληνικά είναι συνήθως λιγότερα. Αυτό δεν σημαίνει ότι οι ανιχνευτές δεν λειτουργούν στα ελληνικά· σημαίνει ότι η αξιοπιστία πρέπει να μετριέται ξεχωριστά για κάθε γλώσσα, και ότι οι τιμές που ανακοινώνονται για τα αγγλικά δεν μεταφέρονται αυτόματα.

Στον ανιχνευτή του AdeptWrite, ο πίνακας μετρημένων επιδόσεων δημιουργείται από το αρχείο του μοντέλου. Αν η ελληνική δεν έχει μετρηθεί, το αποτέλεσμα το δηλώνει και πρέπει να το διαβάζετε με ακόμη μεγαλύτερη επιφύλαξη· για γλώσσα στην οποία το μοντέλο δεν έχει εκπαιδευτεί, δεν εμφανίζεται εκτίμηση. Δείτε την ενότητα «Μέθοδος και όρια» της σελίδας του εργαλείου για την τρέχουσα κατάσταση.

Οι μη εγγενείς συντάκτες και το τυποποιημένο ύφος

Ένας φοιτητής που γράφει σε γλώσσα που δεν είναι η μητρική του, ή ένας μαθητής που ακολουθεί αυστηρά το πρότυπο «εισαγωγή, τρεις παράγραφοι, επίλογος», παράγει συχνά απλό, τυποποιημένο κείμενο. Αυτό μοιάζει στατιστικά με κείμενο AI. Το ίδιο ισχύει για επίσημα έγγραφα, όπως διοικητικές επιστολές και νομικά κείμενα, που γράφονται με σταθερές φράσεις («Σας γνωρίζουμε ότι…», «Με βάση τα ανωτέρω…»). Υπάρχει και πραγματικός κίνδυνος ψευδώς θετικών: άνθρωπος που κατηγορείται άδικα.

Στο αποτέλεσμα του εργαλείου μας το λέμε ρητά: δεν έχουμε μετρήσει σε κάθε γλώσσα πόσο συχνά κείμενα φοιτητών και μη εγγενών συντακτών επισημαίνονται λανθασμένα, και ένα «πιθανότατα από AI» σε τέτοιο κείμενο θέλει επιπλέον προσοχή.

Το επεξεργασμένο, παραφρασμένο ή «ανθρωποποιημένο» AI

Αν κάποιος αλλάξει, συντάξει ξανά ή παραφράσει ένα κείμενο AI, το αποτέλεσμα συχνά περνά χωρίς επισήμανση. Αντίστροφα, ένα κείμενο που διορθώθηκε ή αναδιατυπώθηκε με εργαλεία γραφής βασισμένα σε AI, όπως ένας γραμματικός έλεγχος ή ένας παραφραστής, μπορεί να χαρακτηριστεί «μικτό» ή «πιθανότατα από AI», ακόμα και αν οι ιδέες είναι δικές σας. Αυτό ισχύει και για τα δικά μας εργαλεία.

Τα νέα μοντέλα

Κάθε νέα γενιά μοντέλων γράφει διαφορετικά. Ένας ανιχνευτής που δοκιμάστηκε σε ορισμένες οικογένειες μοντέλων μπορεί να αστοχεί σε άλλες που δεν είδε στην εκπαίδευση. Γι' αυτό η εκτίμηση πρέπει να διαβάζεται μαζί με την ημερομηνία του μοντέλου.

Τι σημαίνει «βαθμολογία 70 %»;

Δεν σημαίνει ότι το κείμενο γράφτηκε από AI με πιθανότητα 70 %. Στον ανιχνευτή του AdeptWrite η βαθμολογία έχει βαθμονομηθεί σε δεδομένα δοκιμής με ίσο αριθμό ανθρώπινων και AI κειμένων, άρα δεν είναι η πιθανότητα να γράφτηκε αυτό το κείμενο από AI και είναι λιγότερο αξιόπιστη για κείμενα διαφορετικά από τα δεδομένα δοκιμής. Εμφανίζεται πάντα ως «≈», ποτέ ως 0 % ή 100 %. Οι επισημασμένες προτάσεις είναι ασθενέστερη ένδειξη από τη συνολική εκτίμηση.

Για εκπαιδευτικούς: πρακτική λίστα ελέγχου

Αν υποψιάζεστε ότι ένα κείμενο δεν γράφτηκε από τον φοιτητή, ο ανιχνευτής μπορεί το πολύ να σας δώσει έναυσμα για συζήτηση. Η απόφαση πρέπει να στηρίζεται σε περισσότερα στοιχεία:

1. Ζητήστε προσχέδια και σημειώσεις. Ένα πραγματικό κείμενο έχει συνήθως πρώτες εκδοχές, διαγραμμένες προτάσεις, πηγές και σημειώσεις.
2. Δείτε το ιστορικό εκδόσεων. Τα Έγγραφα Google και το Word κρατούν ιστορικό αλλαγών· μια εργασία που εμφανίζεται ολόκληρη με επικόλληση είναι ένδειξη που αξίζει συζήτηση, όχι απόδειξη.
3. Κάντε σύντομη προφορική συζήτηση. Ζητήστε από τον φοιτητή να εξηγήσει με δικά του λόγια ένα επιχείρημα, μια πηγή ή μια επιλογή του κειμένου. Όποιος έγραψε την εργασία τη γνωρίζει.
4. Συγκρίνετε με προηγούμενα γραπτά του ίδιου ατόμου, με τη συνείδηση ότι το ύφος εξελίσσεται.
5. Ελέγξτε τις πηγές. Παραπομπές που δεν υπάρχουν ή δεν λένε αυτό που αποδίδεται σε αυτές είναι πιο ισχυρή ένδειξη από κάθε βαθμολογία. Ο έλεγχος λογοκλοπής απαντά σε άλλο ερώτημα, την ομοιότητα με υπάρχοντα κείμενα, και δεν αποδεικνύει χρήση AI.
6. Ορίστε εκ των προτέρων τον κανόνα. Πείτε στους φοιτητές τι επιτρέπεται (π.χ. ιδέες και διόρθωση γλώσσας με δήλωση) και τι όχι, και ακολουθήστε τον κανονισμό του ιδρύματός σας.
7. Μην βασίζετε πειθαρχική απόφαση σε μία βαθμολογία. Δείτε τον κανονισμό του ιδρύματός σας και ζητήστε συμβουλή από τη γραμματεία ή την αρμόδια επιτροπή.

Για φοιτητές και μαθητές: πώς προστατεύεστε

• Κρατήστε προσχέδια, σημειώσεις και ιστορικό εκδόσεων σε όλη τη διάρκεια της εργασίας. Είναι η καλύτερη απόδειξη ότι το κείμενο είναι δικό σας.
• Μάθετε να εξηγείτε το κείμενό σας. Αν σας ρωτήσουν, πρέπει να μπορείτε να πείτε γιατί επιλέξατε μια πηγή ή έναν ορισμό.
• Δηλώστε τη χρήση εργαλείων όπου το ίδρυμά σας το απαιτεί. Η διόρθωση ορθογραφίας και γραμματικής είναι άλλο πράγμα από τη συγγραφή από AI· διαβάστε τον κανονισμό.
• Αν η εργασία σας επισημανθεί λανθασμένα, μείνετε ήρεμοι: δείξτε τα προσχέδια, το ιστορικό και τις πηγές, και ζητήστε να εξεταστεί η υπόθεση με περισσότερα στοιχεία από μία βαθμολογία.
• Ελέγξτε το δικό σας κείμενο με τον ανιχνευτή πριν το παραδώσετε, για να δείτε ποια σημεία ακούγονται μηχανικά και να τα ξαναγράψετε με δικά σας λόγια. Ακόμα κι αν το αποτέλεσμα είναι χαμηλό, δεν είναι εγγύηση.

Παράδειγμα ανάγνωσης αποτελέσματος

Ένας φοιτητής παραδίδει έκθεση 200 λέξεων. Ο ανιχνευτής δείχνει «Μικτό ή αβέβαιο», περίπου 40 %, με 3 από τις 14 προτάσεις επισημασμένες. Τι κάνει ο εκπαιδευτικός;

1. Διαβάζει τις τρεις προτάσεις. Αν είναι γενικόλογες και στερεότυπες, ρωτά τον φοιτητή τι εννοούσε.
2. Ζητά το ιστορικό ή τα προσχέδια.
3. Δεν καταλήγει σε συμπέρασμα μόνο από το 40 %.

Η μεσαία κατηγορία είναι πολύ συχνή σε κείμενα που έχουν και ανθρώπινα και μηχανικά μέρη, και είναι σήμα να διαβάσετε προσεκτικά, όχι εύρημα.

Και ο «ανθρωποποιητής»;

Πολλοί ρωτούν αν ένα εργαλείο που αναδιατυπώνει κείμενο AI «κρύβει» το κείμενο από τους ανιχνευτές. Το AI Humanizer του AdeptWrite παρουσιάζεται ως εργαλείο βελτίωσης γραφής: ξαναγράφει ένα προσχέδιο ώστε να διαβάζεται φυσικά και προσωπικά, με το ίδιο νόημα. Δεν υπόσχεται να ξεγελάσει ανιχνευτές, και αν το ίδρυμά σας απαιτεί δήλωση χρήσης AI, πρέπει να τη δηλώνετε. Για τη διατύπωση με δικά σας λόγια δείτε και τον οδηγό πώς να παραφράσετε ένα κείμενο.

Τι δεν μπορεί να κάνει ένας ανιχνευτής

Για να μη δημιουργούνται λάθος προσδοκίες, αξίζει να ξεκαθαριστεί τι δεν κάνει ο ανιχνευτής:

• Δεν βρίσκει από ποιο εργαλείο ή μοντέλο προήλθε το κείμενο.
• Δεν ξεχωρίζει ποιο μέρος γράφτηκε από άνθρωπο όταν το κείμενο είναι μικτό· οι επισημασμένες προτάσεις δείχνουν απλώς ποιες μοιάζουν περισσότερο με γραπτό μηχανής.
• Δεν αντικαθιστά την κρίση του αναγνώστη, του εκπαιδευτικού ή του επιμελητή.
• Δεν εγγυάται ότι ένα χαμηλό αποτέλεσμα σημαίνει «δικό σας κείμενο»: μια ήρεμη, πολύ επεξεργασμένη διατύπωση μπορεί να περάσει από κάθε έλεγχο.

Συμπέρασμα

Ένας ανιχνευτής AI είναι χρήσιμος ως ένδειξη που ανοίγει συζήτηση, όχι ως δικαστής. Τα όριά του (σύντομα κείμενα, μη εγγενείς συντάκτες, επεξεργασμένο AI, νέα μοντέλα, γλώσσες που δεν έχουν μετρηθεί) είναι πραγματικά, και η ελληνική απαιτεί ιδιαίτερη προσοχή όσο δεν υπάρχουν δημοσιευμένες μετρήσεις για αυτήν. Η σωστή πρακτική είναι προσχέδια, ιστορικό, προφορική συζήτηση και έλεγχος πηγών, με τον ανιχνευτή στον ρόλο του συμπληρωματικού στοιχείου.

← Όλοι οι οδηγοί