Công cụ phát hiện văn bản AI hoạt động thế nào và đáng tin đến đâu?

Công cụ phát hiện văn bản AI không đọc hiểu bài của bạn. Nó đếm các đặc điểm thống kê như chuỗi chữ hay gặp, độ dài và nhịp câu, rồi so với mẫu văn người viết và văn máy viết đã học để đưa ra một con số ước tính. Con số đó không phải bằng chứng, có thể báo nhầm cả văn trang trọng của người thật.

Trả lời ngắn: công cụ phát hiện AI làm gì?

Một công cụ phát hiện văn bản AI không biết ai đã viết bài. Nó chỉ làm một việc: đo một số đặc điểm thống kê của đoạn văn rồi so với những gì nó đã học từ hai tập mẫu, một tập văn do người viết và một tập văn do mô hình ngôn ngữ sinh ra. Kết quả là một con số kiểu "khoảng 70% giống văn AI". Đó là ước tính, không phải phán quyết.

Ba điều nên nhớ ngay từ đầu:

• Điểm số cho biết văn bản giống văn máy viết đến đâu, chứ không cho biết văn bản do ai viết.
• Bài do người viết vẫn có thể bị chấm cao, và bài do AI viết rồi được sửa kỹ vẫn có thể được chấm thấp.
• Không nên dùng một điểm số làm bằng chứng duy nhất để kết luận về một con người.

Phần còn lại của bài giải thích cơ chế bằng tiếng Việt dễ hiểu, chỉ ra những trường hợp báo nhầm hay gặp ở văn bản tiếng Việt, và hướng dẫn việc nên làm nếu bạn là sinh viên bị giảng viên hỏi về bài của mình.

Các công cụ phát hiện chấm điểm bằng cách nào?

Có nhiều cách tiếp cận. Bạn không cần hiểu toán, nhưng nắm ý tưởng sẽ giúp bạn đọc điểm số tỉnh táo hơn.

1. Đo độ "dễ đoán" của câu chữ (perplexity)

Mô hình ngôn ngữ viết bằng cách chọn từ tiếp theo có xác suất cao. Vì vậy văn máy viết thường dễ đoán: sau "Bên cạnh đó" thường là một ý bổ sung, sau "đóng vai trò quan trọng" thường là "trong việc". Một công cụ có thể chấm xem mỗi từ trong bài của bạn "bất ngờ" đến đâu so với dự đoán của một mô hình. Văn quá trơn tru, ít bất ngờ thì điểm giống máy cao hơn. Thuật ngữ trong tiếng Anh là perplexity (độ rối, hiểu nôm na là mức bất ngờ trung bình).

2. Đo độ đều của nhịp câu (burstiness)

Người viết thường lúc câu dài, lúc câu ngắn, thỉnh thoảng bỏ lửng hoặc đặt một câu chỉ vài chữ. Văn máy viết hay đều đều: các câu dài gần bằng nhau, cấu trúc lặp lại. Độ biến thiên này đôi khi được gọi là burstiness. Một đoạn có nhịp quá đều sẽ bị trừ điểm "tự nhiên".

3. Đếm chuỗi ký tự và chuỗi từ (n-gram) rồi cho máy học phân loại

Cách này dễ hình dung nhất. Công cụ cắt văn bản thành các chuỗi ngắn gồm 3, 4, 5 ký tự liên tiếp, và các cụm một từ, hai từ. Rồi nó đếm xem chuỗi nào hay xuất hiện trong văn người viết, chuỗi nào hay xuất hiện trong văn máy. Một bộ phân loại thống kê học từ hàng nghìn ví dụ để cộng dồn các dấu hiệu thành một xác suất. Những cụm như "Tóm lại", "Nhìn chung", "Trong bối cảnh... ngày nay" nếu xuất hiện dày đặc sẽ kéo điểm lên. Cách tiếp cận này (đếm chuỗi băm kèm đặc điểm văn phong) cũng là cách phần thống kê của AdeptWrite hoạt động; công cụ không tính perplexity bằng một mô hình ngôn ngữ riêng.

4. Kết hợp thêm "ý kiến thứ hai" từ một mô hình AI

Một số công cụ, trong đó có AdeptWrite khi bạn chủ động bấm, cho một mô hình AI đọc văn bản và nêu lý do nó thấy giống hay không giống văn máy. Ý kiến này bổ sung chứ không thay cho phần thống kê, và vẫn có thể sai.

Vì sao điểm số chỉ là ước tính?

Có bốn lý do thực tế, không phải lý do kỹ thuật xa vời.

1. Không có "dấu vân tay" chắc chắn. Văn AI không mang chữ ký ẩn. Mọi dấu hiệu đều là xác suất, nghĩa là có chồng lấn giữa văn người và văn máy.
2. Mô hình mới viết khác mô hình cũ. Bộ phát hiện học từ các mô hình có sẵn lúc huấn luyện. Khi xuất hiện mô hình mới, bộ phát hiện có thể bỏ sót.
3. Chỉnh sửa làm nhiễu dấu hiệu. Bài AI soạn nháp rồi được người viết lại, paraphrase hay "humanize" thường thoát. Ngược lại bài người viết rồi nhờ công cụ sửa câu có thể bị đánh dấu.
4. Văn bản ngắn thì thiếu dữ liệu. Càng ngắn, con số càng dao động. Dưới khoảng 150 từ thì điểm kém tin cậy hơn nhiều.

Cách nói trung thực là: đây là phép ước lượng thống kê, không phải bằng chứng. AdeptWrite viết đúng như vậy trên trang công cụ và không công bố một con số "chính xác bao nhiêu phần trăm" nào khác ngoài các chỉ số đo được trên bộ dữ liệu kiểm tra, kèm đầy đủ hạn chế.

Những trường hợp báo nhầm hay gặp với văn tiếng Việt

Đây là phần ít bài tiếng Anh nói tới, nhưng lại quan trọng với người viết ở Việt Nam. Các mẫu dưới đây là ví dụ minh họa do chúng tôi soạn, không phải số liệu đo.

Văn nghị luận, văn hành chính và văn bản mẫu

Bài văn nghị luận học trò có khuôn quen thuộc: mở bài nêu vấn đề, thân bài chia luận điểm, kết bài khẳng định lại. Văn bản hành chính (công văn, tờ trình, biên bản) có câu mở và câu kết gần như cố định, ví dụ "Căn cứ vào..., Kính đề nghị...". Khuôn mẫu càng chặt thì bài càng "dễ đoán", và dễ đoán là đúng thứ bộ phát hiện coi là dấu hiệu của máy.

Ví dụ câu có thể bị chấm cao dù do người viết: "Tóm lại, có thể khẳng định rằng việc đọc sách đóng vai trò vô cùng quan trọng trong việc hình thành nhân cách của mỗi con người."

Câu này nghe như văn AI, nhưng nhiều học sinh đã được dạy viết đúng như vậy.

Văn của người học tiếng Việt hoặc người viết ngôn ngữ thứ hai

Người nước ngoài học tiếng Việt, hoặc người Việt viết lâu năm ở nước ngoài, thường dùng vốn từ hẹp và cấu trúc an toàn. Điều này làm văn bản đơn giản và đều, nên dễ bị đánh dấu nhầm. Các nghiên cứu quốc tế về bộ phát hiện tiếng Anh từng cảnh báo hiện tượng tương tự với người viết không phải bản ngữ, và chúng tôi cũng chưa đo được mức độ này riêng cho tiếng Việt, nên khuyên đọc kết quả với sự thận trọng gấp đôi.

Bài đã qua công cụ chỉnh sửa

Soát lỗi, chỉnh câu, dịch từ tiếng Anh rồi sửa lại đều làm đổi nhịp văn. Trang công cụ của AdeptWrite nói rõ: văn bản đã sửa hoặc paraphrase bằng công cụ viết có AI, kể cả công cụ ngữ pháp, paraphrase và humanize của chính AdeptWrite, có thể bị gắn nhãn "lẫn lộn" hoặc "có thể do AI". Đó là hạn chế thật chứ không phải thiếu sót cần giấu.

Bản dịch sát từng chữ

Văn dịch máy từ tiếng Anh, với câu dài, nhiều mệnh đề và từ nối kiểu "Hơn nữa", "Ngoài ra", có nhịp rất giống văn AI. Một người dịch cẩn thận vẫn có thể rơi vào trường hợp này.

Đọc kết quả của AI Detector (AdeptWrite) như thế nào?

Công cụ kiểm tra văn bản AI của AdeptWrite chạy phần thống kê ngay trong trình duyệt của bạn. Văn bản chỉ được gửi đi nếu bạn chủ động bật hoặc bấm "phân tích chuyên sâu". Một số điểm cần biết:

Ngoài ra, công cụ hiển thị các chỉ số đo trên bộ dữ liệu kiểm tra mà nó chưa từng thấy lúc huấn luyện, cùng danh sách hạn chế. Với tiếng Việt, hãy xem phần "Giới hạn" ngay trên trang công cụ để biết ngôn ngữ này đã được đo độ chính xác hay chưa. Nếu chưa được đo, công cụ nói thẳng là chưa đo và đề nghị đọc kết quả với thêm thận trọng, chứ không đưa ra một con số trông có vẻ chắc chắn.

Điều công cụ không làm: không xác định mô hình nào đã viết, không tìm đoạn nào là AI chính xác đến từng chữ, không phát hiện ý bị sao chép từ người khác (việc đó thuộc về kiểm tra đạo văn), và không thay thế quyết định của người có thẩm quyền.

Nếu giảng viên hỏi về bài của bạn: nên làm gì?

Đây là tình huống thật với nhiều sinh viên. Dưới đây là các bước thực tế, áp dụng cho cả bài tiểu luận, báo cáo thực tập lẫn khóa luận.

1. Giữ bình tĩnh và hỏi rõ căn cứ. Hỏi giảng viên đang dựa vào điều gì: một điểm số, một đoạn cụ thể hay cảm nhận về giọng văn. Một điểm số đơn lẻ không đủ để kết luận.
2. Đọc quy định của trường. Mỗi trường, mỗi khoa có quy định riêng về dùng AI trong bài tập và về liêm chính học thuật. Hãy tìm trong sổ tay sinh viên hoặc hỏi văn phòng khoa. Chúng tôi không đưa ra quy định chung vì chúng khác nhau giữa các nơi và thay đổi theo thời gian.
3. Chuẩn bị bằng chứng về quá trình viết. Lịch sử chỉnh sửa trong Google Docs hay Word, các bản nháp, ghi chú đọc tài liệu, dàn ý, ảnh chụp trang sách đã đánh dấu. Quá trình viết thuyết phục hơn bất kỳ điểm số nào.
4. Sẵn sàng giải thích bài bằng lời. Một người đã viết bài thường nói được vì sao chọn luận điểm này, nguồn nào dùng ở đâu, và sửa được một đoạn ngay tại chỗ. Giảng viên có thể đề nghị bạn trình bày ngắn về bài; đó thường là cách công bằng nhất để làm rõ.
5. Khai báo trung thực. Nếu bạn có dùng AI (để gợi ý ý, sửa lỗi hay dịch) và nơi bạn học cho phép khi có khai báo, hãy nói rõ bạn dùng ở khâu nào. Nếu bị cấm mà bạn vẫn dùng, nên nói thật thay vì chối rồi để bị phát hiện sau.
6. Đừng tự chạy "humanize" để đối phó. Làm vậy không chứng minh được gì và có thể làm tình hình tệ hơn. Điều đáng làm là giữ bản nháp gốc của bạn.

Nếu bạn là giảng viên hay người kiểm duyệt, nên dùng điểm số như một dấu hiệu để bắt đầu cuộc trao đổi, rồi xem bản nháp, hỏi miệng, so với bài trước đó của người viết, chứ không dùng nó để kết luận.

Danh sách kiểm tra trước khi tin vào một điểm số

• Văn bản có đủ dài không (ít nhất khoảng 150 từ cho một ước tính ổn hơn)?
• Công cụ có nói ngôn ngữ của bạn đã được đo độ chính xác hay chưa?
• Bài có thuộc thể loại khuôn mẫu (công văn, mở bài kết bài chuẩn, báo cáo biểu mẫu) không?
• Người viết có phải người học tiếng Việt hay viết ngôn ngữ thứ hai không?
• Bài đã qua công cụ sửa câu, paraphrase hay dịch chưa?
• Có bằng chứng khác (bản nháp, lịch sử chỉnh sửa, hỏi đáp trực tiếp) để đối chiếu không?
• Công cụ có nói rõ "không phải bằng chứng" và liệt kê hạn chế không? Nếu không, hãy ngờ chính công cụ.

Dùng công cụ phát hiện cho đúng mục đích

Công cụ phát hiện hữu ích khi dùng cho chính bài của bạn: kiểm tra xem bản nháp có đoạn nào nghe quá máy móc để bạn viết lại. Nó ít phù hợp để làm căn cứ chấm điểm hay kỷ luật.

Một quy trình hợp lý cho người viết:

1. Viết hoặc chỉnh bài bằng giọng của bạn, thêm ví dụ riêng.
2. Chạy kiểm tra văn bản AI để xem câu nào nghe như văn mẫu, rồi tự sửa những câu đó.
3. Soát lỗi với kiểm tra chính tả và kiểm tra ngữ pháp, chú ý rằng bước này cũng làm đổi nhịp văn.
4. Nếu bài có trích nguồn, dùng kiểm tra đạo văn để xem có đoạn nào trùng với nguồn mở hay chưa ghi nguồn. Đạo văn và văn AI là hai vấn đề khác nhau; đọc thêm ở bài đạo văn là gì.
5. Giữ bản nháp và lịch sử chỉnh sửa, phòng khi cần chứng minh quá trình viết. Nếu bản nháp nghe quá máy móc, xem cách humanize văn bản AI.

← Tất cả hướng dẫn