چندهوش

داوری هوش مصنوعی چطور کار می‌کند و به حکمش چقدر می‌شود اعتماد کرد؟

نوشتهٔ تیمِ چندهوش · · ۷ دقیقه مطالعه

وقتی چند مدل حرف‌هایِ متفاوت می‌زنند، کسی باید جمع‌بندی کند. این مقاله توضیح می‌دهد داور چه چیزی را وزن می‌کند، یک حکمِ مکتوبِ خوب چه اجزایی دارد و خودت چطور حکم را محک بزنی.

داوری هوش مصنوعی یعنی نقشی که خودش طرفِ بحث نبوده، مواضعِ چند مدل را کنارِ هم بخواند و بر اساسِ کیفیتِ استدلال حکم بدهد: کجا توافق هست، کجا اختلاف مانده، کدام استدلال محکم‌تر است و در نهایت چه توصیه‌ای می‌شود کرد. داوریِ خوب رأی نمی‌شمارد؛ می‌پرسد کدام ادعا شاهد دارد، کدام طرف به قوی‌ترین نقدِ طرفِ مقابل جواب داده، و چه چیزی هنوز حل نشده است.

بدونِ داور، گفتگویِ چند مدل فقط چند متنِ بلند است که خودت باید بخوانی و آشتی‌شان بدهی. با داورِ خوب، یک سندِ کوتاه و قابلِ بررسی می‌گیری که نشان می‌دهد تصمیم از کجا آمده.

چرا شمردنِ رأی کافی نیست

ساده‌ترین راهِ جمع‌بندی این است که ببینی بیشترِ مدل‌ها چه گفته‌اند. مشکل این است که مدل‌ها مستقل از هم ساخته نشده‌اند به آن معنایی که آدم‌ها مستقل‌اند. بخشِ بزرگی از داده‌هایی که از آن یاد گرفته‌اند مشترک است. اگر یک باورِ غلط در اینترنت رایج باشد، ممکن است چهار مدل از پنج مدل آن را با اطمینان تکرار کنند و تنها مدلی که مخالفت می‌کند درست بگوید.

برایِ همین، در داوری هوش مصنوعی اکثریت در بهترین حالت یک نشانه است، نه یک دلیل. داوری که فقط رأی بشمارد، همان خطایِ مشترک را با مهرِ «اجماع» تحویلت می‌دهد. این دقیقاً همان مشکلی است که در مقاله‌ی توهم هوش مصنوعی دیده‌ایم: اطمینانِ بالا و درستی دو چیزِ جدا هستند.

شمارشِ رأیداوریِ استدلال‌محور
سؤالِ اصلیبیشترشان چه گفتند؟کدام استدلال محکم‌تر بود و چرا؟
با اقلیتِ درست چه می‌کندنادیده‌اش می‌گیرداگر دلیلش قوی باشد، آن را برجسته می‌کند
اختلافپنهان می‌شودمکتوب می‌شود
خروجییک جوابجواب، دلیل‌ها، و آنچه هنوز حل نشده

داور دقیقاً چه چیزی را وزن می‌کند

داوریِ خوب، چه کارِ یک آدم باشد چه یک مدل، تقریباً همین پرسش‌ها را از هر موضع می‌پرسد:

  1. ادعا پشتوانه دارد؟ یک عدد، یک منبع، یک مثالِ مشخص یا یک استدلالِ قدم‌به‌قدم؟ یا فقط لحنِ مطمئن؟
  2. به قوی‌ترین نقد جواب داده شده؟ جواب‌دادن به ضعیف‌ترین حرفِ مخالف آسان است. داور باید ببیند هر طرف با سخت‌ترین اعتراضِ طرفِ مقابل چه کرده.
  3. فرض‌ها آشکارند؟ خیلی از اختلاف‌ها در واقع اختلاف در فرض است. اگر یکی فرض کرده بودجه نامحدود است و دیگری نه، هر دو در دنیایِ خودشان درست می‌گویند.
  4. به موقعیتِ تو مربوط است؟ استدلالی که برایِ یک شرکتِ بزرگ درست است ممکن است برایِ یک تیمِ سه‌نفره بی‌ربط باشد.
  5. عدمِ قطعیت پذیرفته شده؟ موضعی که می‌گوید «این را نمی‌دانیم و به این دلیل مهم است» اغلب از موضعی که همه‌چیز را قطعی می‌داند قابلِ‌اعتمادتر است.
  6. درونِ خودش سازگار است؟ اگر یک صندلی در دورِ اول چیزی گفته و در دورِ نقد بی‌توضیح عوضش کرده، این باید دیده شود.

یک حکمِ خوب چه اجزایی دارد

حکمی که فقط بگوید «گزینه‌ی الف بهتر است» به دردِ تصمیم‌گیری نمی‌خورد، چون نمی‌توانی بررسی‌اش کنی. در چندهوش حکم مکتوب است و ساختارِ ثابتی دارد:

آنچه بر سرش توافق شدنکته‌هایی که صندلی‌ها بعد از نقدِ متقابل قبولش داشتند.
جایی که اختلاف مانداختلاف پاک نمی‌شود؛ ثبت می‌شود تا ببینی رویِ چه چیزی قطعیت نیست.
قوی‌ترین مخالفتِ باقی‌ماندهمحکم‌ترین اعتراضی که حل نشد، حتی اگر اجماع به آستانه رسیده باشد.
توصیهیک پیشنهادِ عملی که با توجه به همه‌ی موارد بالا داده می‌شود.

آستانه‌ی اجماع در نشستِ «بحث و تصمیم» را می‌توانی روی ۱۰۰٪ (پیش‌فرض)، ۸۰٪ یا ۶۰٪ بگذاری. آستانه‌ی پایین‌تر یعنی حکم زودتر صادر می‌شود، اما در هر حالت مخالفتِ باقی‌مانده ثبت می‌شود. اگر «جست‌وجوی زنده قبل از شروع» را روشن کرده باشی، منابع هم در حکم می‌آیند. و «نقشه‌ی تصمیم» نشان می‌دهد این حکم از کجا آمد: توافق کجا بود، اختلاف کجا، و چرا.

داوری هوش مصنوعی در نوع‌هایِ مختلفِ نشست

کارِ داور بسته به قالبِ نشست فرق می‌کند. دانستنِ این فرق کمک می‌کند حکم را درست بخوانی:

داور هم خطا می‌کند: سه دامِ رایج

در داوری هوش مصنوعی، داور هم یک مدلِ زبانی است و از همان محدودیت‌ها رنج می‌برد. سه دامی که باید حواست باشد:

۱. لحنِ مطمئن به‌جایِ محتوا

متنی که بلندتر، مرتب‌تر و مطمئن‌تر نوشته شده ممکن است قانع‌کننده‌تر به نظر برسد، حتی وقتی محتوایش ضعیف‌تر است. این خطا مخصوصِ مدل‌ها نیست؛ آدم‌ها هم دچارش می‌شوند. به همین دلیل حکمِ خوب باید دلیل بیاورد، نه فقط نتیجه، تا بتوانی ببینی آیا دلیل‌ها واقعاً آن نتیجه را پشتیبانی می‌کنند.

۲. نقطه‌ی کورِ مشترک

اگر همه‌ی صندلی‌ها و داور یک اشتباه را باور داشته باشند، هیچ ساختاری آن را پیدا نمی‌کند. کاری که می‌شود کرد این است که اختلاف‌ها و مخالفتِ باقی‌مانده دیده شوند و ادعاها طوری نوشته شوند که خودت بتوانی چکشان کنی. توافقِ مدل‌ها به معنایِ درستی نیست.

۳. به ارث بردنِ قابِ سؤال

اگر سؤال از اول کج پرسیده شده باشد، داور هم در همان قاب داوری می‌کند. «کدام زبانِ برنامه‌نویسی برایِ پروژه‌مان بهتر است؟» ممکن است سؤالِ اشتباهی باشد اگر مشکلِ اصلی کمبودِ نیرو است. «بررسیِ برداشتِ ما» و «تأییدِ فرض‌ها» قبل از شروع دقیقاً برایِ همین هستند: رایگان‌اند و قاب را قبل از بحث درست می‌کنند.

یک نمونه‌ی فرضی: راستی‌آزماییِ یک برنامه‌ی بازاریابی

این نمونه فرضی است و فقط روند را نشان می‌دهد؛ نشست، کاربر و نتیجه‌ی واقعی نیست.

فرض کن مدیرِ بازاریابیِ یک برندِ لوازمِ خانگی هستی و تیمت برنامه‌ای نوشته با این ادعایِ مرکزی: «اگر بودجه‌ی تبلیغات را از چند کانال برداریم و فقط رویِ یک کانال متمرکز کنیم، هزینه‌ی جذبِ هر مشتری کم می‌شود.» می‌خواهی قبل از جلسه با مدیرعامل بدانی این ادعا چقدر محکم است.

حکمی که می‌گیری در این قالب خواهد بود: وضعیتِ ادعا، مثلاً «تا حدی درست»؛ نکته‌هایی که همه‌ی صندلی‌ها بر سرش توافق داشتند، مثلاً این‌که داده‌ی ضمیمه برایِ یک کانال واقعاً هزینه‌ی پایین‌تری نشان می‌دهد؛ اختلاف‌ها، مثلاً این‌که آیا این هزینه با بزرگ‌ترشدنِ بودجه ثابت می‌ماند یا نه؛ «قوی‌ترین مخالفتِ باقی‌مانده»، مثلاً وابستگیِ کامل به یک کانال و ریسکِ تغییرِ ناگهانیِ شرایطش؛ و یک توصیه، مثلاً آزمونِ مرحله‌ای قبل از جابه‌جاییِ کلِ بودجه. بعد حکم را به PDF یا Word می‌بری یا با لینکِ فقط‌خواندنی برایِ مدیرعامل می‌فرستی.

بعد از حکم: خودت داورِ داور باش

حکم پایانِ کار نیست؛ شروعِ بررسیِ توست. چند کار که کمک می‌کند:

برایِ دیدنِ تصویرِ کاملِ سه مرحله‌ی نظرِ مستقل، نقد و حکم، صفحه‌ی بحثِ چند هوش مصنوعی با هم را ببین؛ و اگر نگرانی مدل‌ها زیادی زود با هم کنار بیایند، مقاله‌ی وکیلِ مدافعِ شیطان را بخوان.

جمع‌بندی

داوری هوش مصنوعی وقتی ارزش دارد که استدلال را بسنجد، نه تعدادِ موافق‌ها را، و وقتی قابلِ‌اعتماد است که خودش را قابلِ‌بررسی کند: توافق‌ها، اختلاف‌ها، قوی‌ترین مخالفتِ باقی‌مانده و توصیه، همه مکتوب. داور هم ممکن است فریبِ لحنِ مطمئن را بخورد یا در قابِ غلطِ سؤال گیر کند؛ برایِ همین بهترین حکم آن است که به تو ابزارِ شک‌کردن هم بدهد. اگر سؤالی درباره‌ی جزئیاتِ کار داری، پرسش‌هایِ متداول را ببین.

اولین میزگردت را بچینصفحهٔ اصلی چندهوش