برای کارِ تو کدام مدلِ هوش مصنوعی مناسب‌تر است؟ روشِ آزمودنِ عادلانه
هر کسی که از «بهترین هوش مصنوعی» می‌پرسد، جوابِ قاطعی می‌شنود، اما آن جواب با به‌روزرسانیِ بعدی کهنه می‌شود. این مقاله به‌جایِ رتبه‌بندی، روشی می‌دهد که خودت در ده دقیقه مدل‌ها را روی سؤالِ واقعیِ خودت بسنجی.
کدام هوش مصنوعی بهتر است؟ جوابِ صادقانه این است: بستگی دارد به سؤالِ تو، و آن «بهتر» با هر نسخه‌یِ تازه می‌تواند عوض شود. هیچ مدلی برایِ همه‌یِ کارها و همه‌یِ آدم‌ها برنده نیست؛ تنها راهِ مطمئن این است که همان سؤالِ واقعی‌ات را به چند مدل بدهی و جواب‌ها را با معیارِ خودت کنارِ هم بسنجی.
این مقاله عمداً هیچ رتبه‌بندی نمی‌دهد. دلیلش ساده است: هر فهرستی که امروز نوشته شود، چند هفته بعد قدیمی است، و هر کسی که بگوید «فلان مدل همیشه بهتر می‌نویسد» یا «بهمان مدل همیشه بهتر کد می‌زند»، چیزی را قاطع می‌گوید که خودِ سازنده‌ها هم نمی‌توانند برایش پایدار پای بایستند. به‌جایِ جواب، یک روشِ آزمودن می‌دهم.
چرا پرسشِ «کدام هوش مصنوعی بهتر است» جوابِ ثابت ندارد
چهار دلیل هست که این پرسش مثلِ «کدام ماشین بهتر است؟» ناقص است:
- «بهتر» برایِ چه؟ یک مدل ممکن است در توضیحِ ساده برایِ مبتدی خوب باشد و در تحلیلِ دقیقِ یک جدول کمتر به کارت بیاید، یا برعکس. کارِ تو با کارِ دیگری فرق دارد.
- مدل‌ها مدام عوض می‌شوند. هر خانواده‌ی مدل چند وقت یک‌بار نسخه‌یِ تازه می‌دهد. ترتیبی که امروز دیده‌ای، ممکن است ماه بعد به هم بخورد.
- سبکِ جواب هم مهم است. بعضی مدل‌ها کوتاه و صریح‌اند، بعضی مفصل و محتاط. «بهتر» گاهی فقط یعنی سبکی که به سلیقه‌یِ تو نزدیک‌تر است.
- همه‌شان اشتباه می‌کنند. هیچ مدلی از اشتباه و توهم (ساختنِ جوابِ مطمئنِ نادرست) مصون نیست؛ در توهم هوش مصنوعی نشان داده‌ایم کجاها بیشتر باید شک کنی.
پس پرسشِ بهتر این است: «برایِ این سؤالِ مشخص، در این هفته، کدام جواب به کارِ من می‌آید؟» و این پرسش را فقط خودت می‌توانی جواب بدهی، چون سؤال و معیار مالِ توست.
هشدار درباره‌یِ رتبه‌بندی‌ها و عددهایِ آماده
در اینترنت پُر است از جدول و نمودار که مدل‌ها را به ترتیب می‌چینند. چند احتیاط لازم است. اول، این جدول‌ها معمولاً روی مجموعه‌سؤال‌هایِ ثابت ساخته می‌شوند که ممکن است هیچ شباهتی به کارِ روزمره‌یِ تو نداشته باشند. دوم، تاریخِ ساخت مهم است؛ جدولی که چند ماه پیش ساخته شده برایِ نسخه‌هایِ امروز حرفی نمی‌زند. سوم، گاهی منبعِ جدول خودش منافع دارد. این به معنی بی‌ارزش بودنِ همه‌ی ارزیابی‌ها نیست؛ فقط یعنی آن‌ها را نقطه‌ی شروعِ حدس بدان، نه حکمِ نهایی.
همین منطق است که پشتِ هوش مصنوعیِ چندمدلی است: به‌جایِ شرط بستن روی یک مدل، چند مدل را هم‌زمان کنارِ هم می‌گذاری و اختلافشان را می‌بینی. اگر بخواهی خانواده‌ها را یک‌به‌یک ببینی، صفحه‌یِ مدل‌هایِ چندهوش هر هشت خانواده را معرفی می‌کند.
روشِ آزمودن: همان سؤال را به چند مدل بده
اصلِ کار ساده است: یک سؤال، چند مدل، یک معیار. این مراحل را دنبال کن:
- سؤالِ واقعی بردار. نه سؤالِ نمایشی مثلِ «یک شعر بگو»، بلکه چیزی که این هفته واقعاً لازمت بود: بازنویسیِ یک ایمیل، تحلیلِ یک قرارداد، بررسیِ یک پیشنهاد، توضیحِ یک مفهومِ درسی.
- متنِ سؤال را ثابت نگه دار. دقیقاً همان متن را برایِ همه بفرست. اگر برایِ یکی توضیحِ بیشتری بدهی، آزمون عادلانه نیست. اگر نمی‌دانی سؤالت را چطور بنویسی، نوشتن پرامپت برای مشورت کمک می‌کند و ابزارِ رایگانِ «سازنده‌یِ پرامپت» هم در سایت هست.
- معیار را قبل از دیدنِ جواب‌ها بنویس. مثلاً: «دقتِ ادعاها»، «به کارم می‌خورد یا نه»، «لحن»، «کوتاه و روشن بودن». اگر بعد از خواندن معیار بسازی، ناخودآگاه معیاری را انتخاب می‌کنی که به جوابِ دلخواهت بخورد.
- نام‌ها را پنهان کن (اگر می‌توانی). حتی خودت را قانع کن که اول جواب‌ها را بخوانی و بعد ببینی مالِ کدام مدل بوده. برچسب، قضاوت را منحرف می‌کند.
- ادعاهایِ واقعی را جدا بسنج. هر عدد، تاریخ یا نام که در جواب‌هاست، در منبعی معتبر چک کن. روانیِ متن دلیلِ درستی نیست؛ برایِ این کار نوعِ نشستِ «راستی‌آزمایی» هم هست.
- چند بار تکرار کن. یک سؤال کافی نیست. سه تا پنج سؤالِ مختلف از کارِ خودت نشان می‌دهد الگویی هست یا فقط یک بارِ اتفاقی بوده.
معیارهایی که می‌توانی استفاده کنی
جدولِ زیر چند معیارِ پیشنهادی را با سؤالی که باید از خودت بپرسی کنار هم می‌گذارد. لازم نیست همه را استفاده کنی؛ دو یا سه معیارِ مرتبط با کارت کافی است.
| معیار | سؤالی که از خودت می‌پرسی |
|---|---|
| دقتِ ادعاها | چند ادعایِ قابلِ چک دارد و چندتایش وقتی چک کردم درست درآمد؟ |
| پوششِ سؤال | به همه‌یِ بخش‌هایِ سؤالم جواب داده یا فقط یک بخش را؟ |
| صراحت | موضع می‌گیرد، یا همه‌چیز را «بستگی دارد» می‌کند؟ |
| لحن و خوانایی | متن را می‌توانم تقریباً همان‌طور که هست استفاده کنم؟ |
| صداقت درباره‌یِ نادانسته‌ها | وقتی چیزی را نمی‌داند، می‌گوید یا حدس را قاطعانه می‌گوید؟ |
| فهمِ پیوست | اگر فایل یا تصویر دادم، واقعاً از آن استفاده کرد؟ |
درباره‌یِ تصویر یک نکته‌یِ عملی: تصویر به مدل‌ها مستقیم داده می‌شود، اما همه‌یِ مدل‌ها تصویر را به یک اندازه خوب نمی‌فهمند. اگر کارت به تصویر وابسته است، آزمونت را با مدل‌هایی بسنج که تصویر را می‌پذیرند.
پس هر بار که از خودت یا دیگران می‌پرسی «کدام هوش مصنوعی بهتر است»، اول بپرس برایِ چه کاری و با چه معیاری؛ بدونِ این دو، پرسش جوابِ معنادار ندارد.
انجامِ آزمون در چندهوش: مقایسه‌یِ خالص
اگر می‌خواهی خودت دستی از این‌وآن مدل بپرسی و جواب‌ها را کپی کنی، می‌شود، اما خسته‌کننده است. در چندهوش نوعِ نشستِ «مقایسه‌یِ خالص» دقیقاً برایِ همین ساخته شده: بدونِ بحث و بدونِ داور، هر صندلی جوابِ کاملِ مستقلِ خودش را می‌دهد و همه کنارِ هم و زیرِ نامِ هر مدل نمایش داده می‌شوند. یعنی آزمونِ «همان سؤال، چند مدل» را بدونِ زحمتِ کپی‌پیست انجام می‌دهی. جزئیاتِ این حالت در صفحه‌یِ مقایسه‌یِ خالص هست.
اگر پس از دیدنِ جواب‌ها خواستی مدل‌ها با هم بحث کنند و تصمیم بگیرند، می‌توانی با نوعِ نشستِ دیگری ادامه بدهی. و اگر فقط کنجکاوی که دو خانواده‌ی مشخص در چه سبکی فرق دارند، صفحه‌هایِ «یا» مثلِ ChatGPT یا Claude؟ نقطه‌یِ شروعِ سبکی هستند؛ اما به یاد داشته باش که سبک‌ها تغییر می‌کنند و آزمونِ خودت از هر مقایسه‌ای جلوتر است. مقاله‌یِ مقایسه‌یِ ChatGPT، Claude و Gemini هم همین نگاه را دارد.
یک نمونه‌ی فرضی: انتخاب برایِ یک متنِ فروش
این بخش یک نمونه‌ی فرضی است و فقط شکلِ کار را نشان می‌دهد؛ نشست، کاربر و نتیجه‌یِ واقعی نیست.
فرض کن مسئولِ محتوایِ یک فروشگاهِ آنلاین هستی و می‌خواهی بدانی برای نوشتنِ توضیحِ محصول از کدام مدل بیشتر استفاده کنی.
- سؤال: همان توضیحِ یک محصولِ واقعیِ فروشگاه با چند ویژگیِ مشخص، لحنِ دوستانه و حداکثر صد کلمه.
- نوعِ نشست: «مقایسه‌یِ خالص»، چون فقط می‌خواهی جواب‌ها را کنارِ هم ببینی.
- صندلی‌ها: چهار صندلی از خانواده‌هایِ مختلف. می‌توانی یک خانواده را در دو صندلی با دو دستورالعملِ متفاوت هم بگذاری.
- عمق: «سریع»؛ چون فقط جوابِ مستقل می‌خواهی.
- معیارها: وفاداری به ویژگی‌هایِ واقعی (چیزی از خودش نساخته باشد)، لحن، و رعایتِ سقفِ کلمات.
بعد از دیدنِ چهار جواب، برایِ هر کدام برگه‌یِ ساده‌ای پر می‌کنی. ممکن است یکی لحن را عالی گرفته باشد ولی یک ویژگیِ ساختگی اضافه کرده باشد؛ دیگری دقیق‌تر باشد ولی خشک. نتیجه‌یِ فرضیِ آزمایش شاید این باشد: «برایِ توضیحِ محصول، مدلِ الف را شروع‌کننده می‌گیرم و ادعاهایش را چک می‌کنم؛ برایِ عنوان‌هایِ کوتاه سبکِ مدلِ ب را می‌پسندم.» نکته این است که این نتیجه فقط برایِ سؤال‌هایِ تو و همین هفته معتبر است و لازم است چند ماه بعد دوباره آزمون شود. اگر آزمون را با سه سؤال دیگر تکرار کنی، الگو روشن‌تر می‌شود.
اشتباه‌هایِ رایجِ آزمودن
- قضاوت با یک سؤالِ آسان. برایِ سؤالِ ساده همه‌ی مدل‌ها شبیه به هم‌اند. فرق‌ها در سؤال‌هایِ مبهم، چندبخشی یا نیازمندِ استدلال پیدا می‌شود.
- ورود با نظرِ قبلی. اگر از قبل مدلی را دوست داری، جوابش را مهربان‌تر می‌خوانی. معیارِ نوشته‌شده جلویِ این را می‌گیرد.
- اشتباهِ برابر دانستنِ «موافق» با «درست». اگر چند مدل یک چیز بگویند، هنوز ممکن است همه اشتباه کنند؛ موافقت درستی نمی‌آورد. به همین دلیل اختلاف‌ها را ببین، نه فقط اشتراک‌ها.
- نادیده گرفتنِ هزینه و زمان. مدلی که کمی بهتر است ولی چند برابر کندتر یا گران‌تر است، شاید برایِ کارِ روزمره‌ات مناسب نباشد. در کاهش هزینه استفاده از هوش مصنوعی ببین چطور بین سبک و سنگین انتخاب کنی. و هر وقت فکر کردی «کدام هوش مصنوعی بهتر است»، یادت باشد خودِ آزمون هم هزینه دارد؛ با دو یا سه صندلیِ سبک شروع کن.
- قفل شدن روی یک انتخاب برایِ همیشه. هر چند ماه یک‌بار آزمون را سبک تکرار کن.
و یک یادآوریِ مهم: برایِ تصمیم‌هایِ جدیِ پزشکی، حقوقی یا مالی، هیچ مدلی جایِ متخصصِ انسانی را نمی‌گیرد، هر قدر هم در آزمونِ تو خوب درآمده باشد.
جمع‌بندی
اگر باز هم می‌پرسی کدام هوش مصنوعی بهتر است، پاسخ را از خودِ سؤالت بگیر: چند مدل، یک سؤالِ واقعی، یک معیارِ نوشته‌شده‌ی قبلی، و بررسیِ ادعاها. این روش با هر نسخه‌یِ تازه هم کار می‌کند، چون به رتبه‌بندیِ دیگران تکیه ندارد. «مقایسه‌یِ خالص» این آزمون را در یک نشست انجام می‌دهد و جواب‌ها را کنارِ هم می‌گذارد، و تصمیمِ نهایی همیشه با خودِ توست.