چطور بفهمیم جوابِ هوش مصنوعی قابلِ اتکا است؟

نوشتهٔ تیمِ چندهوش · ۸ آبان ۱۴۰۵ · ۸ دقیقه مطالعه

جوابِ روان و مطمئن دلیلِ درستی نیست. این مقاله پنج کارِ عملی را نشان می‌دهد که با آن‌ها می‌شود اعتمادِ سنجیده ساخت: بررسیِ منبع، پرسیدن از چند مدل، خواندنِ اختلاف‌ها، راستی‌آزمایی و مراجعه به متخصص.

اعتماد به هوش مصنوعی نباید همه‌یا‌هیچ باشد. بهتر است آن را مثل اعتماد به یک همکارِ باهوش ولی گاهی بی‌دقت ببینی: جوابش را جدی می‌گیری، ولی هر چیزی که تصمیمِ مهمی را تکان می‌دهد پیش از اتکا می‌سنجی. قاعده‌یِ کوتاه این است: هرچه هزینه‌یِ اشتباه بالاتر باشد، سنجشِ بیشتری لازم داری.

مدل‌ها با لحنی روان و مطمئن حرف می‌زنند، چه درست بگویند چه غلط. همین روانی است که اعتماد را آسان و گاهی خطرناک می‌کند. در این مقاله یک روشِ پلکانی می‌بینی که نه بدبینیِ بی‌دلیل دارد و نه خوش‌باوری.

چرا اعتماد به هوش مصنوعی به حسِ ما تکیه نمی‌کند

مدل‌ها زبان تولید می‌کنند، نه این‌که همیشه حقیقت را «بدانند». گاهی چیزی می‌گویند که شنیدنش خوشایند و باورپذیر است ولی وجود ندارد: منبعی که ساخته‌اند، عددی که حدس زده‌اند، جزئیاتی که اصلاً نیست. این را در توهم هوش مصنوعی با جزئیات خوانده‌ای و اینجا تکرارش نمی‌کنیم. فقط نتیجه‌اش را به یاد بیاور: لحنِ مطمئن شاخصِ درستی نیست.

سه چیز می‌تواند حسِ اعتماد را فریب بدهد:

• روانی: متنِ خوش‌ساخت درست‌تر به نظر می‌رسد.
• جزئیات: اسم، تاریخ و عددِ دقیق باورپذیری را بالا می‌برد، حتی اگر ساختگی باشد.
• هم‌سویی با نظرِ ما: جوابی که با باورِ ما جور است سریع‌تر پذیرفته می‌شود. در چرا هوش مصنوعی همیشه با من موافق است دیده‌ای که مدل هم تمایل دارد همین را بدهد.

نردبانِ اعتماد: پنج قدم از سبک تا سنگین

لازم نیست برایِ هر سؤال همه‌ی قدم‌ها را بروی. بسته به اهمیتِ مسئله، بالاتر یا پایین‌تر می‌ایستی.

1. قدمِ اول: خودِ جواب را بخوان. آیا با خودش سازگار است؟ آیا ادعاهایی دارد که چک‌کردنی باشند؟ اگر ادعا، عدد یا منبع دارد، یادداشتشان کن.
2. قدمِ دوم: منبع را بسنج. هر منبعی که مدل نام برده، خودت پیدایش کن. اگر وجود ندارد یا چیزِ دیگری می‌گوید، جوابِ مدل را کنار بگذار. مدل ممکن است منبع را بسازد.
3. قدمِ سوم: از چند مدل بپرس. همان سؤال را بدونِ این‌که جواب‌ها همدیگر را ببینند، از چند خانواده‌یِ مدل بپرس. روشش را در پرسیدن از چند هوش مصنوعی هم‌زمان داریم.
4. قدمِ چهارم: راستی‌آزمایی کن. اگر ادعای مشخصی هست، آن را جداگانه به آزمون بگذار. جزئیاتش در راستی‌آزمایی ادعا با هوش مصنوعی آمده است.
5. قدمِ پنجم: متخصص. برایِ پزشکی، حقوقی و مالیِ جدی، آخرین قدم یک انسانِ صلاحیت‌دار است.

اختلافِ مدل‌ها اطلاعات است، نه مزاحمت

وقتی از چند مدل می‌پرسی و دو تا از آن‌ها با هم فرق دارند، معمولاً ناراحت می‌شویم. ولی این اختلاف باارزش‌ترین چیزی است که به دست می‌آوری، چون دقیقاً نشان می‌دهد کجا باید شک کنی. سه حالت داریم:

دقت کن در ردیفِ اول نوشتیم «قطعی نیست». این مهم‌ترین نکته‌یِ مقاله است.

توافقِ مدل‌ها یعنی درست‌بودن؟ نه

اگر پنج مدل یک جواب بدهند، شاید فکر کنی دیگر جایِ شک نیست. ولی مدل‌ها از دنیایی مشابه از متن یاد گرفته‌اند. اگر یک باورِ غلط در متن‌هایِ زیادی تکرار شده باشد، همه‌ی آن‌ها ممکن است همان را بگویند، پس توافق فقط می‌گوید «این باور رایج است»، نه «این باور درست است». همین است که سوگیریِ مشترک می‌تواند در همه‌ی مدل‌ها باشد؛ دربارهٔ آن در سوگیری هوش مصنوعی نوشته‌ایم.

پس چند مدل دو کار می‌کند: خطاهایی را که خاصِ یک مدل‌اند آشکار می‌کند، و جاهایی را که مدل‌ها واقعاً بر سرشان اختلاف دارند نشانت می‌دهد. اما خطای مشترک را نمی‌گیرد. برای آن به منبعِ بیرونی نیاز داری.

یک نمونه‌ی فرضی: بررسیِ یک ادعا پیش از استفاده در گزارش

این بخش نمونه‌ی فرضی است؛ نشست، کاربر و نتیجه‌یِ واقعی نیست.

فرض کن مسئولِ بازاریابیِ یک شرکتی و در پیش‌نویسِ گزارشت جمله‌ای هست که می‌گوید «تصمیم‌گیری گروهی همیشه از تصمیم‌گیریِ فردی بهتر است». نمی‌خواهی ادعایی بدونِ سنجش وارد گزارش شود.

• نوعِ نشست: «راستی‌آزمایی»، چون یک ادعای مشخص داری.
• صندلی‌ها: چهار صندلی از خانواده‌هایِ مختلف و یک صندلیِ «وکیلِ مدافعِ شیطان» که کارش مخالفت است.
• عمق: «عادی».
• پیش از شروع: «جست‌وجوی زنده قبل از شروع» را روشن می‌کنی تا منبع‌هایِ بروز کنار حکم بیایند، و «تأییدِ فرض‌ها» را می‌زنی تا معلوم شود «بهتر» یعنی چه: سرعت، کیفیت یا رضایتِ اعضا.
• پیوست: لینکِ منبعی که فکر می‌کنی این ادعا از آن آمده.

حکمِ چنین نشستی ممکن است «تا حدی درست» باشد، با این بخش‌ها: توافق بر این‌که گروه در بعضی کارها خطاها را بهتر می‌گیرد؛ اختلاف بر سرِ این‌که «همیشه» غلط است و گروه‌ها گاهی کند یا دچارِ فشارِ هم‌نوایی می‌شوند؛ قوی‌ترین مخالفتِ باقی‌مانده این‌که بدونِ مشخص‌کردنِ نوعِ تصمیم، ادعا بی‌معنا است؛ و توصیه به بازنویسیِ جمله با لحنِ محتاط‌تر. می‌بینی که نتیجه یک بله یا نه نیست؛ نقشه‌ای از جاهایی است که باید شک کنی. همین کار را در صفحه‌یِ نشستِ راستی‌آزمایی می‌توانی ببینی.

کی می‌شود بیشتر اتکا کرد و کی کمتر

• اتکای بیشتر: کارهای زبانی (بازنویسی، خلاصه)، ایده‌پردازی، پیش‌نویس‌ها و هر چیزی که خودت می‌توانی به‌سرعت بسنجی.
• اتکای کمتر: عددها، تاریخ‌ها، نام‌ها، منبع‌ها، قانون‌ها و هر چیزی که بعداً بر تصمیمِ پرهزینه اثر می‌گذارد.
• اتکای مشروط: موضوع‌هایی که تازه تغییر کرده‌اند. مدل ممکن است از آخرین تغییرات خبر نداشته باشد، مگر این‌که جست‌وجوی زنده کمک کرده باشد.
• اتکای بسیار کم، بدونِ متخصص: تشخیصِ پزشکی، نظرِ حقوقیِ ملزم‌کننده، تصمیمِ مالیِ بزرگ. مدل می‌تواند بهت کمک کند سؤالِ بهتری بپرسی، ولی جایِ متخصص را نمی‌گیرد.

اعتماد به هوش مصنوعی در کارهای روزمره: سه مثالِ کوتاه

برای این‌که نردبان انتزاعی نماند، سه موقعیتِ ساده را کنارِ هم ببین. همه فرضی‌اند و فقط شکلِ تصمیم را نشان می‌دهند.

• خلاصه‌کردنِ یک گزارش: اگر گزارش را خودت خوانده‌ای، خلاصه را در یک نگاه می‌سنجی. قدمِ اول کافی است. اما اگر خلاصه به تصمیمی منجر می‌شود که دیگران هم رویش حساب می‌کنند، نکته‌های اصلی را با متنِ اصلی تطبیق بده.
• پیدا کردنِ یک منبعِ علمی: مدل ممکن است نامِ مقاله‌ای را بیاورد که اصلاً وجود ندارد. اینجا اعتماد نکن؛ فقط جست‌وجو کن و مقاله را باز کن. اگر پیدا نشد، به همان نام تکیه نکن.
• انتخاب بینِ دو روشِ کاری: اینجا ادعای واقعی کم است و بیشتر قضاوت است. بهترین کار پرسیدن از چند مدل و خواندنِ دلیلِ هر کدام است، نه پذیرفتنِ یک جواب. اگر هم خودِ تصمیم گران است، با کسی که در آن حوزه تجربه دارد حرف بزن.

در هر سه مثال، پرسشِ اصلی یکی است: «اگر این جواب اشتباه باشد، من کجا ضربه می‌خورم؟» جوابِ همین سؤال مشخص می‌کند اعتماد به هوش مصنوعی را تا کدام پله ببری. این‌که مدل چقدر مطمئن حرف می‌زند در این حساب هیچ جایی ندارد. اگر هنوز می‌پرسی مدلی بهتر از مدلِ دیگر هست، یادت باشد سبکِ مدل‌ها با هر نسخه عوض می‌شود و باید رویِ سؤالِ خودت امتحانشان کنی.

یک چک‌لیستِ کوتاه پیش از اتکا

1. ادعاهایِ قابلِ چک (عدد، تاریخ، منبع) را جدا کردم؟
2. منبع‌ها را خودم باز کردم و واقعاً همین را می‌گویند؟
3. از حداقل یک مدلِ دیگر هم پرسیدم؟
4. اختلاف‌ها را خواندم، یا فقط جوابِ اول را برداشتم؟
5. اگر اشتباه باشد، هزینه‌اش چقدر است؟ اگر زیاد است، متخصص دیده‌ام؟

اگر نگرانی‌ات هزینه‌یِ این سنجش‌ها است، یادت باشد لازم نیست برایِ هر سؤالِ ساده چند مدل بپرسی. در هوش مصنوعی رایگان یا پولی نوشته‌ایم کجا یک ابزارِ ساده کافی است و کجا نه.

چندهوش در این میان چه می‌کند

کاری که چندهوش می‌کند در واقع خودکارکردنِ همین نردبان است. هر مدل اول بدونِ دیدنِ جوابِ دیگران نظر می‌دهد، بعد همدیگر را نقد می‌کنند و در پایان یک حکمِ مکتوب می‌نویسند که چه چیزی توافق شد، کجا اختلاف ماند و چه توصیه‌ای دارند. بعد از حکم می‌توانی «نقشه‌یِ تصمیم» را ببینی تا بفهمی چرا چنین نتیجه‌ای آمد، یا با «حالتِ دقتِ بالا» قوی‌ترین مخالفتِ حل‌نشده را مستقیماً به چالش بکشی. ولی این ابزار جایگزینِ منبعِ بیرونی نیست؛ حکم طوری نوشته می‌شود که ادعاهایش قابلِ چک باشند، و چک‌کردنشان با تو است. برایِ شناختِ بیشترِ روش، صفحه‌یِ هوش مصنوعیِ چندمدلی را ببین.

جمع‌بندی

اعتماد به هوش مصنوعی را درجه‌بندی کن: برایِ کارهای سبک سریع، برایِ تصمیم‌های مهم پله‌پله. از خودِ جواب شروع کن، منبع را بسنج، از چند مدل بپرس، اختلاف‌ها را بخوان و ادعاهایِ مهم را راستی‌آزمایی کن. فراموش نکن که توافقِ مدل‌ها یعنی «رایج» است، نه «درست»، و برایِ پزشکی، حقوقی و مالیِ جدی متخصصِ انسانی لازم است. هدف بدبینی نیست؛ هدف اعتمادی است که هزینه‌اش را پرداخته باشد.