چندهوش

روشی برایِ مقایسه ChatGPT و Claude و Gemini که به کارِ خودت بیاید

نوشتهٔ تیمِ چندهوش · · ۸ دقیقه مطالعه

به جایِ اینکه دنبالِ برنده‌ی کلی بگردی، یاد بگیر این سه مدل را رویِ سؤال‌هایِ خودت، با شرایطِ برابر و معیارهایِ روشن، کنارِ هم بگذاری.

مقایسه ChatGPT و Claude و Gemini جوابِ یک‌کلمه‌ای ندارد، چون این مدل‌ها با هر نسخه‌ی تازه عوض می‌شوند و در هر نوع کار سبکِ متفاوتی دارند. تنها مقایسه‌ای که واقعاً به دردت می‌خورد، مقایسه رویِ سؤال‌هایِ خودِ توست: همان متن، با شرایطِ برابر، کنارِ هم، و با معیارهایی که از پیش نوشته‌ای. این مقاله همین روش را قدم‌به‌قدم توضیح می‌دهد.

چرا فهرست‌هایِ «کدام بهتر است» به کارت نمی‌آید؟

احتمالاً مطلب‌هایی دیده‌ای که با اطمینان می‌گویند فلان مدل برایِ نوشتن بهتر است و آن یکی برایِ برنامه‌نویسی. سه دلیل دارد که به این حکم‌ها زیاد تکیه نکنی:

پس سؤالِ درست این نیست که «کدام بهترین است؟»؛ سؤالِ درست این است: «رویِ کارهایی که من هر روز انجام می‌دهم، کدام بیشتر به دردم می‌خورد، و آیا یکی کافی است؟»

قدمِ اول: سؤال‌هایِ واقعیِ خودت را جمع کن

سه تا پنج سؤال بردار که نماینده‌ی کارِ واقعیِ تو باشند. سؤالِ سرگرمی یا معما به کار نمی‌آید؛ چیزی بردار که هفته‌ی گذشته واقعاً لازمش داشتی. یک ترکیبِ خوب این است:

  1. یک کارِ تولیدی: مثلاً نوشتنِ متنِ معرفیِ یک محصول یا خلاصه کردنِ یک گزارش.
  2. یک کارِ تحلیلی: مثلاً پیدا کردنِ الگو در یک جدولِ فروش یا بررسیِ یک طرح.
  3. یک سؤال که جوابش را خودت می‌دانی. این سؤالِ کنترل است و نشان می‌دهد کدام مدل با اطمینان چیزِ غلط می‌گوید.
  4. یک سؤالِ مبهم یا دوپهلو، تا ببینی کدام مدل ابهام را تشخیص می‌دهد و کدام بی‌سروصدا یک برداشت را فرض می‌گیرد.
  5. اگر به فارسی کار می‌کنی، حتماً یک کار که کیفیتِ نثرِ فارسی در آن مهم است.

قدمِ دوم: شرایط را برابر کن

بیشترِ مقایسه‌ها همین‌جا خراب می‌شوند. اگر به یک مدل توضیحِ بیشتری بدهی یا در گفتگویی بپرسی که از قبل زمینه داشته، دیگر مقایسه منصفانه نیست. این چند قاعده را رعایت کن:

قدمِ سوم: نام‌ها را پنهان کن

وقتی می‌دانی کدام جواب از کدام مدل است، ناخودآگاه طرفِ مدلی را می‌گیری که از قبل دوستش داشتی. راهِ ساده‌اش این است که جواب‌ها را در یک سند با برچسبِ «الف»، «ب» و «ج» بگذاری و ترتیبشان را به‌هم بزنی؛ اگر بشود، از یک همکار بخواه این کار را برایت بکند تا خودت هم ندانی کدام کدام است. نام‌ها را فقط بعد از نمره دادن باز کن.

قدمِ چهارم: با معیارهایِ از پیش نوشته نمره بده

پیش از خواندنِ جواب‌ها، معیارهایت را بنویس؛ این مهم‌ترین قدم در هر مقایسه ChatGPT و Claude و Gemini است. اگر بعد از خواندن معیار بسازی، معیارها را با جوابی که خوشت آمده جور می‌کنی. این جدول یک نقطه‌ی شروع است؛ آن را با کارِ خودت تطبیق بده:

معیارسؤالی که از خودت می‌پرسینمره
درستیادعاهایِ قابلِ بررسی درست بودند؟ سؤالِ کنترل را درست جواب داد؟۰ تا ۳
کامل بودننکته‌ی مهمی جا نیفتاد؟ ریسک‌ها را گفت؟۰ تا ۳
پیروی از خواستههمان شکل، طول و لحنی را داد که خواسته بودی؟۰ تا ۳
صداقت درباره‌ی ندانستنجایی که مطمئن نبود، این را گفت یا حدس زد؟۰ تا ۳
کیفیتِ فارسینثر طبیعی بود یا ترجمه‌وار؟ اصطلاح‌ها درست بودند؟۰ تا ۳
قابلِ استفاده بودنچقدر باید دست ببری تا جواب به کارت بیاید؟۰ تا ۳

معیارِ «درستی» را از بقیه جدی‌تر بگیر. جوابی که روان و مطمئن است ولی یک عددِ غلط دارد، از جوابِ ساده‌ی درست خطرناک‌تر است. برایِ شناختنِ این خطاهایِ مطمئن، مقاله‌ی توهم هوش مصنوعی را ببین.

مقایسه ChatGPT و Claude و Gemini در یک صفحه با چندهوش

اگر نمی‌خواهی بینِ سه سرویس جابه‌جا شوی، نوعِ نشستِ «مقایسه‌ی خالص» دقیقاً برایِ همین ساخته شده است: بحثی در کار نیست، داوری هم نیست؛ هر صندلی یک جوابِ کامل و مستقل می‌دهد و جواب‌ها زیرِ نامِ هر کدام کنارِ هم نمایش داده می‌شوند. سؤال و پیوست یک‌بار وارد می‌شود و برایِ همه یکسان است، پس شرطِ «شرایطِ برابر» خودبه‌خود رعایت می‌شود.

دو ترفندِ کاربردی:

در «مقایسه‌ی خالص» نام‌ها نمایش داده می‌شوند. اگر می‌خواهی کورخوانی کنی، متنِ جواب‌ها را کپی کن، در سندِ خودت بی‌نام بگذار و بعد نمره بده.

یک نمونه‌ی فرضی: انتخابِ مدل برایِ نوشتنِ معرفیِ محصول

این یک نمونه‌ی فرضی و ساختگی است برایِ نشان دادنِ روش؛ نشستِ واقعی، کاربرِ واقعی یا نتیجه‌ی واقعی نیست.

فرض کن مسئولِ محتوایِ یک فروشگاهِ اینترنتیِ لوازمِ خانه هستی و هر هفته ده‌ها معرفیِ کوتاهِ محصول به فارسی می‌نویسی. می‌خواهی بدانی کدام مدل برایِ این کار مناسب‌تر است. کار را در دو مرحله انجام می‌دهی:

مرحله‌ی اول، مقایسه‌ی خالص. چهار صندلی می‌چینی: ChatGPT، Claude، Gemini، و یک صندلیِ دوم برایِ یکی از همین سه تا ببینی جوابش چقدر تغییر می‌کند. یک فایلِ اکسل با مشخصاتِ پنج محصول و یک نمونه از متنی که خودت قبلاً نوشته‌ای و دوستش داری پیوست می‌کنی. عمق را «سریع» می‌گذاری، چون اینجا بحث نیاز نیست. جواب‌ها را کپی می‌کنی، بی‌نام می‌کنی و با جدولِ بالا نمره می‌دهی.

مرحله‌ی دوم، بحث و تصمیم. حالا جواب‌ها و نمره‌هایت را به‌صورتِ یک فایل پیوست می‌کنی و یک نشستِ «بحث و تصمیم» با سه صندلی راه می‌اندازی: یک منتقد، یک عمل‌گرا، و صندلیِ وکیلِ مدافعِ شیطان. سؤالت این است: «با توجه به این نمونه‌ها و نمره‌ها، برایِ این کار یک مدل کافی است یا بهتر است نوشتن و بازبینی را به دو مدلِ مختلف بسپاریم؟» عمق را «عادی» و آستانه‌ی اجماع را ۱۰۰٪ نگه می‌داری.

حکمِ چنین نشستی می‌تواند این‌ها را داشته باشد:

دقت کن که داوری درباره‌ی جواب‌هایِ مدل‌ها را خودِ مدل‌ها انجام می‌دهند و همین داوری هم می‌تواند سوگیری داشته باشد. درباره‌ی اینکه یک حکمِ خوب چه ویژگی‌هایی دارد، مقاله‌ی داوری هوش مصنوعی را بخوان.

اشتباه‌هایی که مقایسه را بی‌ارزش می‌کنند

وقتی برنده‌ی روشنی پیدا نشد

خیلی وقت‌ها نتیجه‌ی مقایسه این است که هیچ‌کدام در همه‌ی معیارها جلو نیستند: یکی در درستی قوی‌تر است، دیگری در لحن، سومی در دیدنِ ریسک. این شکست نیست؛ نشانه‌ی این است که شاید به جایِ انتخابِ یکی، بهتر باشد چند مدل را کنارِ هم به کار بگیری. این همان منطقِ هوش مصنوعی چندمدلی است. اگر می‌خواهی ببینی این کار در عمل چطور انجام می‌شود، مقاله‌ی پرسیدن از چند هوش مصنوعی هم‌زمان هر دو راهِ دستی و خودکار را توضیح داده است.

جمع‌بندی

برایِ مقایسه ChatGPT و Claude و Gemini دنبالِ رتبه‌بندیِ آماده نگرد؛ این رتبه‌ها با هر نسخه‌ی تازه جابه‌جا می‌شوند و کارِ تو را نمی‌سنجند. چند سؤالِ واقعی جمع کن، شرایط را برابر نگه دار، نام‌ها را پنهان کن و با معیارهایِ از پیش نوشته نمره بده. نتیجه را تاریخ بزن و گاه‌به‌گاه تکرار کن. و اگر جوابِ مقایسه «هیچ‌کدام به‌تنهایی» بود، به جایِ انتخابِ یک برنده، از هم‌فکریِ چند مدل استفاده کن. اگر سؤالی درباره‌ی روشِ کار داری، سری به پرسش‌هایِ رایج بزن.

اولین میزگردت را بچینصفحهٔ اصلی چندهوش