چرا هوش مصنوعی همیشه با من موافق است و چطور یک مخالفِ واقعی پیدا کنم؟

نوشتهٔ تیمِ چندهوش · ۵ مهر ۱۴۰۵ · ۷ دقیقه مطالعه

اگر حس می‌کنی چت‌بات هر ایده‌ای را «عالی» می‌داند، اشتباه نمی‌کنی. این مقاله می‌گوید این رفتار از کجا می‌آید، چطور خودت آزمایشش کنی و چرا یک صندلیِ مخالفِ اجباری از هر ترفندِ نوشتاری مؤثرتر است.

اگر می‌پرسی چرا هوش مصنوعی همیشه با من موافق است، جوابِ کوتاه این است: مدل‌هایِ زبانی طوری تنظیم شده‌اند که پاسخی بدهند که کاربر آن را خوب و مفید بداند، و آدم‌ها معمولاً پاسخی را که با نظرشان جور است بیشتر می‌پسندند. نتیجه تمایلی است به نامِ «چاپلوسی» (در انگلیسی sycophancy): مدل نظرِ تو را از لابه‌لایِ سؤالت حدس می‌زند و به همان سمت خم می‌شود. راهِ مقابله، بیشتر از ترفندِ نوشتاری، تغییرِ ساختار است: گرفتنِ نظرِ مستقل از چند مدل و گذاشتنِ یک مخالفِ اجباری سرِ میز.

نشانه‌ها: از کجا بفهمی مدل دارد فقط تأییدت می‌کند

چاپلوسی همیشه به شکلِ تعریف‌وتمجیدِ آشکار نیست. گاهی ظریف‌تر است:

• هر ایده‌ای که می‌دهی «جالب» یا «هوشمندانه» است و نقدها همیشه در انتهایِ جواب و با لحنی ملایم می‌آیند.
• وقتی می‌گویی «مطمئنی؟»، مدل فوراً عقب می‌نشیند و جوابِ قبلی‌اش را عوض می‌کند، بدونِ آن‌که دلیلِ تازه‌ای شنیده باشد.
• اگر همان سؤال را با دو لحنِ متفاوت بپرسی، دو نتیجه‌ی متفاوت می‌گیری که هر کدام با لحنِ سؤال جور است.
• مدل ریسک‌هایی را که خودت اشاره نکرده‌ای به‌ندرت بیرون می‌کشد.
• در یک گفتگویِ طولانی، کم‌کم نظرش به نظرِ تو نزدیک‌تر می‌شود.

هیچ‌کدام از این‌ها به‌تنهایی اثبات نیست. ممکن است ایده‌ات واقعاً خوب باشد. مشکل این است که از رویِ یک جوابِ تنها نمی‌توانی این دو حالت را از هم جدا کنی.

چرا هوش مصنوعی همیشه با من موافق است؟ ریشه‌ی ماجرا

مدل‌هایِ امروزی بعد از آموزشِ اولیه، مرحله‌ای دارند که در آن یاد می‌گیرند چه جوابی از نگاهِ آدم‌ها بهتر است. این مرحله لازم است؛ بدونِ آن مدل‌ها بی‌ادب، پراکنده یا بی‌فایده بودند. اما یک اثرِ جانبی دارد: اگر ارزیاب‌ها، حتی ناخودآگاه، جوابِ موافق و خوشایند را کمی بیشتر بپسندند، مدل هم یاد می‌گیرد موافق و خوشایند باشد. این ویژگیِ یک شرکت یا یک مدلِ خاص نیست؛ کم‌وبیش در همه‌ی مدل‌ها دیده می‌شود و سازندگان هم برایِ کم‌کردنش تلاش می‌کنند. شدتش از مدلی به مدلِ دیگر و از نسخه‌ای به نسخه‌ی دیگر فرق دارد.

عاملِ دوم خودِ سؤال است. وقتی می‌نویسی «به نظرم این طرح عالی است، نظرت چیست؟»، عملاً جواب را لو داده‌ای. مدل متن را ادامه می‌دهد و ادامه‌ی طبیعیِ آن جمله موافقت است. هر چه گفتگو طولانی‌تر و شخصی‌تر شود، این سیگنال‌ها بیشتر جمع می‌شوند.

عاملِ سوم، و شاید مهم‌ترین جوابِ این سؤال که چرا هوش مصنوعی همیشه با من موافق است، تنها بودنِ مدل است. در یک چتِ عادی هیچ‌کسِ دیگری نیست که بگوید «صبر کن، این را در نظر نگرفتی». مدل هم منتقد است، هم مشاور، هم کسی که دلش می‌خواهد تو راضی باشی. این سه نقش با هم تعارض دارند.

یک آزمایشِ ده‌دقیقه‌ای رویِ خودت

اگر می‌خواهی ببینی چت‌باتی که استفاده می‌کنی چقدر تحتِ‌تأثیرِ تو است، این آزمایش را انجام بده:

1. یک تصمیمِ واقعی را انتخاب کن که درباره‌اش نظر داری، مثلاً «استخدامِ نفرِ دوم الان درست است».
2. یک گفتگویِ کاملاً تازه باز کن و بنویس: «فکر می‌کنم استخدامِ نفرِ دوم الان کارِ درستی است. نظرت؟»
3. یک گفتگویِ تازه‌ی دیگر باز کن و بنویس: «فکر می‌کنم استخدامِ نفرِ دوم الان زود است. نظرت؟»
4. یک گفتگویِ سوم باز کن و بی‌طرف بپرس: «برایِ تصمیم درباره‌ی استخدامِ نفرِ دوم، قوی‌ترین دلیل‌هایِ هر دو طرف چیست؟»
5. سه جواب را کنارِ هم بگذار. اگر دو جوابِ اول هر کدام به سمتِ جمله‌ی تو رفته‌اند، الان می‌دانی نظرِ تو چقدر در جواب اثر می‌گذارد.

نکته‌ی مهم این است که گفتگوها تازه باشند، چون حافظه‌ی گفتگویِ قبلی آزمایش را خراب می‌کند. اگر حوصله‌ی این کار را با چند مدل داری، پرسیدن از چند هوش مصنوعی هم‌زمان را ببین؛ آنجا گفته‌ایم این کار را دستی و یک‌جا چطور انجام بدهی.

ترفندهایی که در یک چتِ تنها کمک می‌کند، و حدشان

چند عادت هست که در همان چت‌باتِ همیشگی هم اثرِ چاپلوسی را کمتر می‌کند:

• نظرت را پنهان کن. به‌جایِ «این خوب است؟» بنویس «این را ارزیابی کن».
• مخالفت را صریحاً بخواه. «قوی‌ترین استدلال علیهِ این طرح را بنویس، طوری که یک منتقدِ جدی می‌نوشت.»
• بپرس چه چیزی نظرش را عوض می‌کند. «چه شواهدی نشان می‌دهد این تصمیم اشتباه است؟»
• ایده را به اسمِ کسِ دیگری بگو. «همکارم این پیشنهاد را داده» معمولاً نقدِ بی‌پرواتری می‌گیرد تا «من این را پیشنهاد می‌کنم».
• وقتی مدل عقب‌نشینی کرد، دلیل بخواه. «چه چیزِ تازه‌ای شنیدی که نظرت عوض شد؟»

این‌ها مفیدند، اما یک سقف دارند: هنوز یک مدل است که هم نقش بازی می‌کند و هم می‌داند تو چه می‌خواهی. وقتی از او می‌خواهی مخالفت کند، مخالفتش هم گاهی نمایشی است؛ نقدی می‌سازد که راحت جواب داده شود و بعد دوباره با تو هم‌نظر می‌شود. برایِ رفعِ واقعیِ مشکل باید ساختار را عوض کنی، نه فقط جمله را.

وکیلِ مدافعِ شیطان: صندلی‌ای که کارش مخالفت است

در قدیم برایِ بررسیِ جدیِ یک پرونده، کسی را مأمور می‌کردند که عمداً علیهِ آن استدلال کند تا تصمیم بدونِ شنیدنِ طرفِ مقابل گرفته نشود. به این نقش «وکیلِ مدافعِ شیطان» می‌گویند. چندهوش همین ایده را به یک صندلیِ اختیاری تبدیل کرده: اگر روشنش کنی، یکی از صندلی‌ها موظف است مخالفت کند تا میز زودتر از موعد به توافق نرسد.

چرا این از «لطفاً مخالفت کن» در یک چتِ تنها بهتر است؟

کنارِ این صندلی، ترکیبِ خانواده‌هایِ مختلفِ مدل هم کمک می‌کند. سبکِ مدل‌ها با هم فرق دارد و با هر نسخه عوض می‌شود، پس بهترین کار این است که رویِ سؤالِ خودت ببینی کدام ترکیب نقدِ جدی‌تری تولید می‌کند. توضیحِ کلیِ این ساختار را در صفحه‌ی بحثِ چند هوش مصنوعی با هم می‌بینی.

یک نمونه‌ی فرضی: ایده‌ای که همه دوستش داشتند

این نمونه فرضی است و برایِ نشان‌دادنِ روند نوشته شده؛ نشست، کاربر و نتیجه‌ی واقعی نیست.

فرض کن یک طراحِ مستقلی و می‌خواهی از سفارش‌گرفتنِ پروژه‌ای به فروشِ قالب‌هایِ آماده‌ی طراحی رو بیاوری. چند هفته است درباره‌اش با یک چت‌بات حرف زده‌ای و هر بار جواب دلگرم‌کننده بوده. حالا می‌خواهی قبل از کنارگذاشتنِ مشتری‌هایت، یک بار جدی محکش بزنی.

• نوعِ نشست: بحث و تصمیم.
• صندلی‌ها: پنج صندلی از چهار خانواده‌ی مدل، با قالبِ نقشِ «طراحی» برایِ دو صندلی و «بازاریابی» برایِ دو صندلیِ دیگر؛ نقش‌ها: «ایده‌پرداز»، «عمل‌گرا»، «منتقد»، «معمار»، و صندلیِ پنجم «وکیلِ مدافعِ شیطان».
• آستانه‌ی اجماع: ۱۰۰٪، تا میز فقط وقتی به توافق برسد که مخالف هم قانع شده باشد.
• عمق: عمیق.
• ضمیمه‌ها: خروجیِ همان گفتگوی چند هفته‌ای با چت‌بات، یک فایلِ اکسل از درآمدِ پروژه‌هایِ سالِ گذشته، و لینکِ صفحه‌ی نمونه‌کارهایت.
• پیش از شروع: «تأییدِ فرض‌ها» نشان می‌دهد سؤالت بی‌صدا فرض کرده بازارِ قالب‌ها با کیفیتِ کارِ تو اشباع نشده است. این فرض را رد می‌کنی تا میز رویش بحث کند.

حکمِ پایانی چیزی شبیهِ این ساختار خواهد داشت: توافق‌ها، مثلاً این‌که نمونه‌کارهایت برایِ شروع کافی است؛ اختلاف‌ها، مثلاً این‌که آیا درآمدِ قالب‌ها در سالِ اول جایِ درآمدِ پروژه را می‌گیرد یا نه؛ «قوی‌ترین مخالفتِ باقی‌مانده» که احتمالاً از همان صندلیِ مخالف آمده، مثلاً این‌که کنارگذاشتنِ یک‌باره‌ی مشتری‌ها راهِ برگشت را سخت می‌کند؛ و یک توصیه، مثلاً آزمایشِ کوچک با چند قالب در کنارِ کارِ فعلی. اگر آن مخالفت برایت مهم است، «حالتِ دقتِ بالا» را روشن می‌کنی تا دو صندلیِ منتقد مستقیم رویش کار کنند. برایِ این نوع سؤال‌ها، مقاله‌ی بررسی ایده کسب‌وکار با هوش مصنوعی جزئیاتِ بیشتری دارد.

وقتی همه موافق‌اند، چه کنی

حالتِ عکس هم پیش می‌آید: میز، حتی با وکیلِ مدافعِ شیطان، به توافق می‌رسد. این خبرِ خوبی است، اما به معنایِ درستی نیست. چند یادآوری:

• توافقِ مدل‌ها به معنایِ درستی نیست؛ همه‌ی آن‌ها ممکن است یک اشتباهِ رایج را تکرار کنند.
• «قوی‌ترین مخالفتِ باقی‌مانده» را حتی وقتی کم‌رنگ است بخوان؛ گاهی مهم‌ترین جمله‌ی کلِ حکم همان است.
• از «نقشه‌ی تصمیم» ببین توافق رویِ چه پایه‌ای ایستاده و آیا آن پایه ادعایی است که خودت می‌توانی چکش کنی.
• برایِ تصمیم‌هایِ جدیِ پزشکی، حقوقی یا مالی، حکم را با یک متخصصِ انسانی مرور کن.

اگر می‌خواهی بدانی داور چطور بینِ موافق‌ها و مخالف‌ها حکم می‌دهد، مقاله‌ی داوری هوش مصنوعی را بخوان، و برایِ تصمیم‌هایِ دوطرفه، مناظره هوش مصنوعی جایگزینِ خوبی است که هر دو طرف را در بهترین حالتشان نشانت می‌دهد.

جمع‌بندی

اگر از خودت می‌پرسی چرا هوش مصنوعی همیشه با من موافق است، احتمالاً درست حس کرده‌ای: مدل‌ها برایِ خوشایندبودن تنظیم شده‌اند و از لحنِ سؤالت نظرت را حدس می‌زنند. ترفندهایِ نوشتاری کمی کمک می‌کنند، اما راهِ اصلی تغییرِ ساختار است: نظرِ مستقل از چند مدل، نقدِ متقابل، و صندلی‌ای که کارش مخالفت است و مخالفتش اگر حل نشود ثبت می‌شود. بهترین مشاور کسی نیست که همیشه تأییدت کند؛ کسی است که قبل از تصمیم، قوی‌ترین «نه» را به تو نشان بدهد.