تشخیص متن هوش مصنوعی چگونه کار می‌کند؟

آشکارساز متن هوش مصنوعی مدرک نمی‌دهد؛ الگوهای آماری نوشته، مثل یکنواختی طول جمله‌ها و قابل‌پیش‌بینی‌بودن واژه‌ها، را با نمونه‌های شناخته‌شده مقایسه می‌کند و یک برآورد می‌دهد. در فارسی این برآورد شکننده‌تر است، چون متن‌های رسمی و دانشگاهی ذاتاً قالبی‌اند. نتیجه را هرگز تنها دلیل علیه کسی نکنید.

تشخیص متن هوش مصنوعی چگونه کار می‌کند؟ پاسخ کوتاه

آشکارساز متن هوش مصنوعی مدل آماری است، نه قاضی. متن را به ویژگی‌های عددی تبدیل می‌کند (مثلاً چقدر واژه‌ها قابل پیش‌بینی‌اند یا جمله‌ها چقدر هم‌اندازه‌اند) و با نمونه‌های شناخته‌شدهٔ «نوشتهٔ انسان» و «نوشتهٔ ماشین» مقایسه می‌کند. خروجی یک برآورد است، مثل «شبیه نوشتهٔ ماشین» یا «نامطمئن»، و هیچ‌وقت مدرکی برای اثبات اینکه کسی متنی را خودش ننوشته نیست.

اگر نتیجهٔ ابزاری دانشجو یا ویراستاری را نگران کرده است، سه نکته را به یاد داشته باشید: برآورد با زبان و نوع متن تغییر می‌کند، متن کوتاه و قالبی زود اشتباه می‌شود، و تصمیم دربارهٔ یک آدم باید به شواهد دیگر (پیش‌نویس‌ها، سابقهٔ نگارش، گفت‌وگو) تکیه کند.

آشکارساز در عمل چه می‌بیند؟

آشکارسازها معمولاً از ترکیبی از این سیگنال‌ها استفاده می‌کنند:

• قابل‌پیش‌بینی‌بودن واژه‌ها (در ادبیات فنی «پیچیدگی» یا perplexity): مدل‌های زبانی در هر نقطه محتمل‌ترین واژه را برمی‌گزینند. اگر هر واژهٔ متن برای یک مدل زبانی «قابل حدس» باشد، متن شبیه خروجی ماشین به نظر می‌رسد.
• تغییرپذیری ساختار (burstiness): آدم‌ها گاهی جملهٔ بسیار کوتاه و گاهی جملهٔ بلند و پرپیچ می‌نویسند. متن ماشینی اغلب یکدست‌تر است.
• ویژگی‌های سبکی: تکرار قیدهای ربط، طول متوسط جمله، نسبت واژه‌های تکراری، الگوی نشانه‌گذاری.
• الگوهای نویسه و n-gram: دسته‌های کوتاه نویسه یا واژه که در متن‌های هر گروه بسامد متفاوتی دارند. مدل آموزش‌دیده روی نمونه‌های برچسب‌دار یاد می‌گیرد کدام ترکیب‌ها به کدام گروه نزدیک‌ترند.

هیچ‌کدام از این سیگنال‌ها «اثر انگشت» نیست. فقط می‌گویند متن به کدام گروه آماری نزدیک‌تر است. نوشتهٔ یک انسان منظم و محتاط هم می‌تواند یکدست باشد و خروجی ویرایش‌شدهٔ ماشین هم می‌تواند ناهموار.

چرا برای فارسی برآورد ضعیف‌تر است؟

این بخش دربارهٔ محدودیت‌های واقعی است، نه ادعای «فارسی را ۱۰۰٪ می‌شناسیم»:

1. داده‌های سنجش کمتر. بیشتر پژوهش‌ها و مجموعه‌های آزمون عمومی انگلیسی‌اند. برای فارسی تعداد متن‌های آزمون برچسب‌دار و مدل‌های مولد پوشش‌داده‌شده کمتر است، پس برآورد کم‌اطمینان‌تر است.
2. نثر قالبی دانشگاهی و اداری. «در این پژوهش به بررسی تأثیر ... بر ... پرداخته شده است» را هزاران دانشجوی ایرانی تقریباً به همین شکل می‌نویسند. چون خودِ قالب یکدست و قابل پیش‌بینی است، آشکارساز آن را «ماشینی» می‌بیند.
3. نیم‌فاصله و املای متفاوت. «می‌روم» با نیم‌فاصله، «می روم» با فاصله و «میروم» سرهم هر کدام برای مدل رشتهٔ نویسه‌ای متفاوت‌اند. اگر نمونه‌های آموزشی یک املا را بیشتر دیده باشند، نوشتهٔ شما با املای دیگر ممکن است «غیرعادی» به نظر برسد. همین‌طور «ی» و «ک» عربی (ي و ك) در متن‌های کپی‌شده از منابع قدیمی. دربارهٔ این مشکل ببینید نیم‌فاصله در فارسی.
4. نوشتار رسمی در برابر گفتاری. فارسی گفتاری («می‌خوام برم») و نوشتاری («می‌خواهم بروم») فاصلهٔ زیادی دارند. متنی که ناگهان میان دو سطح جابه‌جا می‌شود یا کاملاً در سطح رسمی می‌ماند برای مدل نامعمول است.
5. ترجمه. متنی که از انگلیسی ترجمه شده و ساختار جمله‌اش به انگلیسی شبیه است ممکن است از نظر آماری شبیه خروجی مدل‌ها باشد.

در AdeptWrite نیز ابزار فقط وقتی برای یک زبان عدد دقت نشان می‌دهد که برای آن زبان سنجش واقعی انجام شده باشد. اگر برای فارسی چنین سنجشی در صفحهٔ ابزار گزارش نشده باشد، همان پیام «برای این زبان هنوز سنجیده نشده» را جدی بگیرید و برآورد را با احتیاط بیشتری بخوانید. ما برای فارسی درصد دقتی ادعا نمی‌کنیم.

مثال‌هایی از متن انسانی که ممکن است اشتباه علامت بخورد

متن زیر را فرض بگیرید. دانشجوی کارشناسی ارشدی برای چکیدهٔ مقاله‌اش نوشته است:

«هدف از این پژوهش بررسی تأثیر آموزش مجازی بر یادگیری دانش‌آموزان دورهٔ متوسطه است. روش پژوهش توصیفی و جامعهٔ آماری شامل دانش‌آموزان یک مدرسهٔ دولتی بوده است. نتایج نشان داد که آموزش مجازی بر یادگیری تأثیر معناداری داشته است.»

این بند کاملاً انسانی و درست است، اما سه جملهٔ هم‌اندازه، واژگان قالبی و بدون هیچ لحن شخصی دارد. بسیاری از آشکارسازها چنین متنی را «مشکوک» می‌بینند.

مثال دوم، نامهٔ اداری:

«احتراماً به استحضار می‌رساند مدارک مورد نیاز تکمیل و به پیوست ارسال می‌گردد. خواهشمند است دستور فرمایید اقدام لازم معمول گردد.»

عبارت‌های ثابت اداری («به استحضار می‌رساند»، «اقدام لازم معمول گردد») را آدم‌ها دهه‌هاست تکرار می‌کنند. تکرار بالا یعنی قابل پیش‌بینی بودن، و قابل پیش‌بینی بودن یعنی نمرهٔ «شبیه ماشین».

مثال سوم برعکس است: یک پیش‌نویس ماشینی که با ویرایش دستی، افزودن مثال شخصی و تغییر ساختار جمله‌ها عوض شده، معمولاً دیگر علامت نمی‌خورد. پس برآورد هم می‌تواند مثبت کاذب (متن انسانی علامت‌خورده) بدهد و هم منفی کاذب (متن ماشینی ردنشده).

جدول: چه چیزی را می‌توان و نمی‌توان از نتیجه فهمید

ابزار AdeptWrite چه می‌کند و چه نمی‌کند

تشخیص متن هوش مصنوعی AdeptWrite مدلی آماری است که بر پایهٔ الگوهای نویسه و واژه و چند ویژگی سبکی کار می‌کند و محاسبهٔ آماری آن در مرورگر شما انجام می‌شود. مشخصات واقعی آن:

• حداقل ۴۰ کلمه لازم است و سقف هر بار بررسی ۶٬۰۰۰ نویسه است. متن‌های کوتاه‌تر از حدود ۱۵۰ کلمه با اطمینان کمتری ارزیابی می‌شوند.
• نتیجه یکی از سه حالت است (احتمالاً انسانی، مختلط یا نامطمئن، احتمالاً ماشینی) همراه با نمرهٔ تقریبی. این نمره برآورد است، نه احتمال اینکه همین متن را هوش مصنوعی نوشته باشد.
• جمله‌هایی که ماشینی‌تر به نظر می‌رسند علامت می‌خورند، ولی این شاهد ضعیف‌تر از نتیجهٔ کلی است.
• متنی که با ابزار نگارشی هوش مصنوعی اصلاح یا بازنویسی شده (از جمله ویراستار و بازنویس خود AdeptWrite) ممکن است «مختلط» یا «احتمالاً ماشینی» برچسب بخورد.
• متنی که با ابزار «انسانی‌سازی» یا بازنویسی تغییر کرده معمولاً از دید آشکارساز پنهان می‌ماند؛ پس نبودنِ علامت هم تضمین نیست.
• «تحلیل عمیق» اختیاری است و برای همان درخواست متن شما را به یک مدل هوش مصنوعی می‌فرستد؛ بدون آن هم ابزار کار می‌کند.
• جملهٔ ثابت صفحه: هیچ‌گاه این نتیجه را تنها مدرک علیه یک نفر قرار ندهید. برای نوشتهٔ دانشجویان، نویسندگان غیربومی و متن‌های قالبی خطا محتمل‌تر است.

اگر دانشگاه یا کارفرما نتیجهٔ آشکارساز را پیش کشید

اول نفس بکشید؛ برآورد آماری مدرک نیست و نباید به‌تنهایی مبنای تصمیم باشد. آیین‌نامهٔ دقیق دانشگاه یا نشریه را از منبع رسمی همان‌جا بخوانید؛ ما متن هیچ مادهٔ مشخصی را نقل نمی‌کنیم.

برای دانشجو و پژوهشگر

1. پیش‌نویس‌ها را نگه دارید. نسخه‌های ذخیره‌شده در Word یا Google Docs تاریخچهٔ ویرایش دارند و نشان می‌دهند متن چگونه شکل گرفته است.
2. یادداشت‌ها و منابع را آماده کنید. فهرست مقاله‌هایی که خوانده‌اید، یادداشت‌برداری‌ها و فایل داده‌ها همه نشان می‌دهند کار خودتان است.
3. آمادهٔ توضیح شفاهی باشید. اگر استاد دربارهٔ استدلال یا روش پرسید، توضیح دادن بدون نگاه به متن بهترین شاهد است.
4. ابزارهایی را که استفاده کرده‌اید صادقانه بگویید. اگر برای ویرایش املایی یا ترجمه از نرم‌افزار کمک گرفته‌اید، همان را بگویید و ببینید آیین‌نامه دربارهٔ آن چه می‌گوید.
5. درخواست بررسی انسانی کنید. مطمئن شوید استاد یا کمیته خودش متن و فرایند نگارش را بررسی می‌کند، نه فقط عدد را.

برای ویراستار و نویسندهٔ محتوا

• اگر مشتری ابزاری را مبنا قرار داد، از او بخواهید تعریف و حد مجاز استفاده از هوش مصنوعی را کتبی بنویسد.
• چند آشکارساز مختلف نتایج متفاوت می‌دهند؛ این خودش نشان می‌دهد نتیجه قطعی نیست.
• نسخه‌های کاری، یادداشت مصاحبه و فهرست منابع را نگه دارید.

چگونه از علامت‌خوردن اشتباه جلوگیری کنیم؟

هدف «دور زدن آشکارساز» نیست؛ هدف این است که متن واقعاً نشانهٔ صدای خودتان را داشته باشد:

• مثال و جزئیات شخصی بیاورید: نام آزمایشگاه، شهر، عدد واقعی پژوهش خودتان.
• طول جمله‌ها را متنوع کنید. هر جا یک جملهٔ کوتاه معنا را روشن‌تر می‌کند، همان را بنویسید.
• قالب‌های کلیشه‌ای را کم کنید. به‌جای «در این پژوهش به بررسی ... پرداخته شده است» بنویسید «ما ... را بررسی کردیم» اگر مجلهٔ هدف اجازه می‌دهد.
• املا را یکدست نگه دارید. با غلط‌یاب املایی فارسی «ی» و «ک» عربی و نیم‌فاصله‌های جاافتاده را درست کنید تا متن بی‌دلیل نامنظم دیده نشود.
• متنی را که با ابزار پرداخته‌اید، خودتان بخوانید و تغییر دهید. بازنویس یا انسانی‌ساز جایگزین فکر خودتان نیست.

خلاصهٔ تصمیم‌گیری

یادآوری مهم: تشخیص متن هوش مصنوعی و تشخیص سرقت ادبی دو مسئلهٔ جداست. اولی دربارهٔ سبک آماری است، دومی دربارهٔ همانندی با منابع موجود. دربارهٔ دومی بخوانید سرقت ادبی چیست؟

جمع‌بندی

آشکارساز هوش مصنوعی الگوهای آماری را می‌سنجد و برآورد می‌دهد. در فارسی، به‌دلیل نثر قالبی، تنوع املا و داده‌های سنجش کمتر، احتمال خطا بیشتر است. اگر نتیجه‌ای علیه شما به کار رفت، پیش‌نویس‌ها و منابع را ارائه کنید و ارزیابی انسانی بخواهید. اگر خودتان از آشکارساز استفاده می‌کنید، آن را یک نشانه بدانید نه حکم.

← همهٔ راهنماها