توهم هوش مصنوعی: وقتی مدل با اطمینان اشتباه می‌کند

نوشتهٔ تیمِ چندهوش · ۵ مهر ۱۴۰۵ · ۸ دقیقه مطالعه

هوش مصنوعی گاهی منبع، عدد یا واقعیتی می‌سازد که وجود ندارد و آن را کاملاً مطمئن تحویلت می‌دهد. این مقاله می‌گوید چرا و چطور این خطاها را پیش از آنکه گران تمام شوند پیدا کنی.

توهم هوش مصنوعی (به انگلیسی hallucination) یعنی مدل چیزی نادرست یا ساختگی را با همان لحنِ روان و مطمئنی بگوید که حرف‌هایِ درستش را می‌گوید: منبعی که وجود ندارد، عددی که از جایی نیامده، یا ماجرایی که هرگز رخ نداده. این خطا از ذاتِ کارِ مدل‌هایِ زبانی می‌آید و نمی‌شود کاملاً حذفش کرد، ولی با چند عادتِ ساده، از جمله گذاشتنِ جوابِ چند مدلِ مستقل کنارِ هم، می‌شود بیشترِ آن را پیش از آنکه ضرر بزند گرفت.

توهم هوش مصنوعی دقیقاً چه شکلی است؟

توهم همیشه یک دروغِ بزرگ و آشکار نیست. بیشتر وقت‌ها یک جزئیاتِ کوچک است که وسطِ یک جوابِ درست نشسته و به همین دلیل دیده نمی‌شود. چند شکلِ رایجش این‌هاست:

چرا مدل‌ها توهم می‌زنند؟

برایِ فهمیدنِ این خطا لازم نیست متخصص باشی. کافی است بدانی مدلِ زبانی چطور کار می‌کند:

• مدل «متنِ محتمل» می‌سازد، نه «واقعیتِ بررسی‌شده». مدل در اصل یاد گرفته با دیدنِ متن‌هایِ بسیار زیاد، ادامه‌ی محتملِ یک متن را حدس بزند. بیشترِ وقت‌ها محتمل‌ترین ادامه همان جوابِ درست است؛ ولی جایی که اطلاعات کم است، ادامه‌ی محتمل می‌تواند چیزی باشد که فقط شبیهِ جوابِ درست است.
• «نمی‌دانم» به‌طور طبیعی در آن نیست. مدل‌ها طوری تنظیم شده‌اند که مفید باشند و جواب بدهند. اگر جوابِ درست را نداشته باشند، همیشه این را نمی‌گویند و گاهی جایِ خالی را با حدس پر می‌کنند.
• دانشِ مدل تاریخ دارد. اطلاعاتِ هر مدل تا زمانِ مشخصی است. درباره‌ی رویدادها، قیمت‌ها یا نسخه‌هایِ تازه ممکن است چیزی قدیمی یا حدسی بگوید.
• موضوع‌هایِ کم‌داده. درباره‌ی موضوع‌هایِ محلی، تخصصی یا کم‌نوشته‌شده، مثلاً جزئیاتِ یک مقرراتِ خاص یا یک شرکتِ کوچک، داده‌یِ آموزشی کم است و احتمالِ ساختن بیشتر می‌شود.
• سؤالِ جهت‌دار. وقتی می‌پرسی «چرا فلان چیز این‌طور است؟»، فرض کرده‌ای که این‌طور است. مدل اغلب همان فرض را می‌پذیرد و برایش دلیل می‌تراشد. تمایلِ مدل‌ها به همراهی با کاربر را در مقاله‌ی چرا هوش مصنوعی همیشه با من موافق است باز کرده‌ایم.

نشانه‌هایی که باید حساس شوی

هیچ نشانه‌ای قطعی نیست، ولی این‌ها یعنی وقتِ بررسی است:

• عددهایِ خیلی دقیق بدونِ ذکرِ منبع.
• نامِ منبع یا مقاله‌ای که با یک جست‌وجویِ ساده پیدا نمی‌شود.
• جوابی که دقیقاً همان چیزی است که دلت می‌خواست بشنوی.
• جزئیاتِ زیاد درباره‌ی موضوعی که می‌دانی اطلاعاتِ عمومیِ کمی درباره‌اش هست.
• تغییرِ جواب وقتی همان سؤال را کمی متفاوت می‌پرسی.
• لحنِ کاملاً مطمئن درباره‌ی چیزی که حتی متخصص‌ها درباره‌اش محتاط حرف می‌زنند.

هفت عادت برایِ گرفتنِ توهم

1. منبع بخواه، بعد خودت بازش کن. گرفتنِ منبع کافی نیست؛ منبعِ ساختگی هم منبع است. اگر منبع مهم است، واقعاً پیدایش کن و ببین همان حرف را می‌زند یا نه.
2. بخواه قطعی را از حدس جدا کند. مثلاً بنویس: «کنارِ هر ادعا بنویس چقدر مطمئنی و کدام را باید بررسی کنم.» این کار خطا را حذف نمی‌کند، ولی جاهایِ حساس را نشانت می‌دهد.
3. فرضِ پنهانِ سؤالت را بردار. به جایِ «چرا X بهتر از Y است؟» بپرس «X و Y را از نظرِ فلان معیار مقایسه کن.»
4. متنِ اصلی را بده، نه اینکه از حافظه بپرسی. اگر درباره‌ی یک سند، قرارداد یا گزارش سؤال داری، خودِ فایل را پیوست کن و بخواه فقط از رویِ همان جواب بدهد و بخشِ مربوط را نشان بدهد.
5. همان سؤال را با کلماتِ دیگر دوباره بپرس. جوابِ درست معمولاً پایدارتر است؛ جزئیاتِ ساختگی از یک بار به بارِ دیگر عوض می‌شوند.
6. از چند مدلِ مستقل بپرس. جزئیاتی که فقط یک مدل گفته و بقیه نگفته‌اند، اولین جایی است که باید بررسی کنی. روشِ منصفانه‌یِ کنارِ هم گذاشتنِ جواب‌ها را در مقایسه ChatGPT و Claude و Gemini نوشته‌ایم.
7. در تصمیم‌هایِ جدی، آدمِ متخصص را کنار نگذار. برایِ موضوع‌هایِ پزشکی، حقوقی و مالیِ مهم، خروجیِ هیچ مدلی جایِ نظرِ متخصصِ انسانی را نمی‌گیرد؛ از آن برایِ آماده کردنِ سؤال‌هایت استفاده کن، نه برایِ تصمیمِ نهایی.

بررسیِ متقابل با چند مدل: چه کاری می‌کند و چه کاری نمی‌کند

گذاشتنِ جوابِ چند مدل کنارِ هم یکی از مؤثرترین راه‌هایِ گرفتنِ توهم است، به یک دلیلِ ساده: جزئیاتِ ساختگی معمولاً تصادفی‌اند و بعید است دو مدلِ جدا دقیقاً همان منبعِ ساختگی یا همان عددِ بی‌پشتوانه را بسازند. وقتی یکی چیزی می‌گوید که بقیه نمی‌گویند، یک پرچمِ قرمز داری. این ایده‌ی اصلیِ هوش مصنوعی چندمدلی است. روشِ عملیِ این کار، چه دستی چه با یک میز، در مقاله‌ی پرسیدن از چند هوش مصنوعی هم‌زمان آمده است.

ولی این روش محدودیت هم دارد و باید صادقانه بشناسی‌اش:

• هم‌نظری یعنی درستی نیست. مدل‌ها از داده‌هایِ مشابهی یاد گرفته‌اند. اگر یک باورِ غلط در اینترنت رایج باشد، ممکن است همه‌ی مدل‌ها آن را با هم تکرار کنند.
• استقلال شرط است. اگر مدلِ دوم جوابِ مدلِ اول را پیش از نظر دادن ببیند، به سمتِ آن کشیده می‌شود و «تأیید»ش ارزشی ندارد. برایِ همین در نشست‌هایِ چندهوش، هر صندلی جوابِ اولش را بدونِ دیدنِ بقیه می‌دهد.
• داور هم مدل است. جمع‌بندیِ نهایی هم کارِ یک مدل است و بی‌خطا نیست. حکمِ خوب حکمی است که ادعاهایش را بشود یکی‌یکی بررسی کرد. معیارهایِ یک حکمِ خوب را در مقاله‌ی داوری هوش مصنوعی ببین.

به همین دلیل در چندهوش اختلاف‌ها پنهان نمی‌شوند: حکمِ مکتوب جاهایِ اختلاف را جدا می‌نویسد و حتی وقتی آستانه‌ی اجماع را پایین می‌آوری، «قوی‌ترین مخالفتِ باقی‌مانده» ثبت می‌شود تا خودت بتوانی قضاوت کنی.

یک نمونه‌ی فرضی: راستی‌آزماییِ یک پاراگرافِ پیش از انتشار

این یک نمونه‌ی فرضی و ساختگی است برایِ نشان دادنِ روش؛ نشستِ واقعی، کاربرِ واقعی یا نتیجه‌ی واقعی نیست.

فرض کن برایِ وبلاگِ شرکتت مقاله‌ای درباره‌ی امنیتِ رمزِ عبور نوشته‌ای و بخشی از آن را با کمکِ یک چت‌بات آماده کرده‌ای. یک پاراگراف ادعایی دارد که کلِ استدلالِ مقاله رویِ آن بنا شده: «عوض کردنِ اجباریِ رمز هر چند ماه یک‌بار، امنیتِ حساب‌ها را بیشتر می‌کند.» پیش از انتشار می‌خواهی مطمئن شوی. میز را این‌طور می‌چینی:

• نوعِ نشست: راستی‌آزمایی. حکم یکی از «درست»، «نادرست» یا «تا حدی درست» خواهد بود.
• صندلی‌ها: Claude، Gemini، DeepSeek و Qwen، همه در نقشِ منتقد، تا هر کدام مستقل ادعا را بسنجند؛ به‌علاوه‌ی صندلیِ وکیلِ مدافعِ شیطان که از ادعا دفاع کند تا ردِ آن هم بی‌چالش نماند.
• عمقِ بحث: عمیق.
• پیوست: فایلِ پیش‌نویسِ مقاله، تا صندلی‌ها ادعا را در بافتِ خودش ببینند.
• پیش از شروع: «جست‌وجوی زنده قبل از شروع» را روشن می‌کنی تا اطلاعاتِ به‌روز همراهِ منبع به بحث اضافه شود؛ منبع‌ها در حکم هم می‌آیند. «تأییدِ فرض‌ها» هم فرض‌هایِ پنهان را فهرست می‌کند، مثلاً اینکه منظورت حساب‌هایِ کارمندانِ یک سازمان است یا کاربرانِ عادی.

حکمِ چنین نشستی می‌تواند این‌ها را داشته باشد:

• حکم: مثلاً «تا حدی درست»، همراه با توضیح که ادعا در چه شرایطی برقرار است و در چه شرایطی نه.
• توافق‌ها: نکته‌هایی که همه‌ی صندلی‌ها مستقل به آن رسیدند.
• اختلاف‌ها: جایی که صندلی‌ها درباره‌ی دامنه‌ی ادعا هم‌نظر نبودند.
• قوی‌ترین مخالفتِ باقی‌مانده: محکم‌ترین استدلالی که به نتیجه‌ی نهایی وارد است و حل نشد.
• توصیه: اینکه پاراگراف را چطور بازنویسی کنی تا دقیق باشد، و منبع‌هایی که باید خودت باز کنی و بخوانی.

اگر قوی‌ترین مخالفت به نظرت جدی بود، «حالتِ دقتِ بالا» می‌تواند آن را مستقیم با دو صندلیِ منتقد به چالش بکشد. در آخر هم خودت منبع‌هایِ آمده در حکم را باز می‌کنی؛ راستی‌آزمایی با مدل‌ها قدمِ اول است، نه قدمِ آخر.

وقتی پایِ تصمیمِ جدی در میان است

توهم هوش مصنوعی در یک پیش‌نویسِ وبلاگ شاید فقط کمی آبرو ببرد، ولی در یک تصمیمِ درمانی، یک قرارداد یا یک سرمایه‌گذاری می‌تواند واقعاً گران تمام شود. در این موقعیت‌ها از هوش مصنوعی برایِ فهمیدنِ موضوع، پیدا کردنِ سؤال‌هایِ درست و دیدنِ زاویه‌هایِ مختلف استفاده کن، و تصمیمِ نهایی را با یک متخصصِ انسانی مرور کن. اگر درباره‌ی نحوه‌ی کارِ نشست‌ها سؤالی داری، چطور کار می‌کند را ببین.

جمع‌بندی

توهم هوش مصنوعی یک باگِ موقت نیست که با نسخه‌ی بعدی کاملاً برطرف شود؛ نتیجه‌ی طبیعیِ مدلی است که متنِ محتمل می‌سازد. راهِ مقابله اعتماد نکردن به لحن است: منبع را باز کن، فرضِ پنهانِ سؤالت را بردار، متنِ اصلی را به مدل بده و جوابِ چند مدلِ مستقل را کنارِ هم بگذار. جایی که مدل‌ها اختلاف دارند، اول همان‌جا را بررسی کن؛ و یادت باشد که حتی هم‌نظریِ همه‌ی آن‌ها هم جایِ بررسیِ خودت و، در موضوع‌هایِ جدی، نظرِ یک متخصص را نمی‌گیرد.