توکن چیست و چرا هزینه‌یِ هوش مصنوعی به آن بستگی دارد
بیشترِ سرویس‌هایِ هوش مصنوعی به‌جایِ کلمه یا ثانیه، با «توکن» حساب می‌کنند. این مقاله ساده توضیح می‌دهد توکن چیست، چه چیزهایی تعدادش را بالا می‌برند و چطور بدونِ قربانی کردنِ کیفیت هزینه را زیرِ کنترل نگه داری.
توکن در هوش مصنوعی چیست؟ توکن (token) کوچک‌ترین تکه‌ای است که مدل از متن می‌بیند و می‌شمارد؛ گاهی یک کلمه، گاهی بخشی از کلمه، گاهی یک نشانه‌ی نگارشی. مدل متن را به همین تکه‌ها می‌شکند، رویشان کار می‌کند و جوابش را هم تکه‌تکه می‌سازد. چون کارِ مدل با تعدادِ تکه‌ها بیشتر می‌شود، بیشترِ سرویس‌ها هزینه را هم بر پایه‌یِ توکن حساب می‌کنند.
لازم نیست برنامه‌نویس باشی تا این را بفهمی. کافی است یک تصویرِ ذهنی داشته باشی: توکن برایِ هوش مصنوعی مثلِ مقدارِ بنزین برایِ ماشین است. هر چه سفر طولانی‌تر یا بار سنگین‌تر، بنزینِ بیشتری مصرف می‌شود. در ادامه می‌بینی چه چیزی سفر را طولانی می‌کند و چطور مصرفت را کم کنی.
توکن در هوش مصنوعی چیست؟ یک مثالِ ملموس
فرض کن جمله‌ی «سلام، امروز هوا خوب است» را به مدل می‌دهی. مدل آن را مثلِ ما کلمه‌به‌کلمه نمی‌خواند؛ ابتدا به تکه‌هایی می‌شکند. یک کلمه‌یِ رایج و کوتاه ممکن است یک تکه باشد، یک کلمه‌یِ بلند یا کمیاب ممکن است چند تکه شود. تعداد دقیقِ تکه‌ها به «شکننده‌یِ متن» (tokenizer) بستگی دارد و بین مدل‌ها و خانواده‌ها فرق می‌کند؛ پس یک متنِ مشابه ممکن است برایِ دو مدل تعدادِ توکنِ کمی متفاوت داشته باشد.
تقسیم‌بندی برای زبان‌ها هم یکسان نیست. شکستنِ متن در زبانی که مدل بیشتر با آن آموزش دیده معمولاً به تکه‌هایِ درشت‌تری می‌رسد، و زبان‌هایِ دیگر ممکن است به تکه‌هایِ ریزتر شکسته شوند. من عددی برایش نمی‌دهم، چون به مدل بستگی دارد و با هر نسخه فرق می‌کند؛ فقط یادت باشد که «تعدادِ کلمه» و «تعدادِ توکن» یکی نیست و نمی‌شود با ضربِ یک عددِ ثابت از یکی به دیگری رسید.
پس اگر کسی پرسید «توکن در هوش مصنوعی چیست و چرا باید برایم مهم باشد؟»، جوابِ یک‌خطی‌اش این است: چون واحدِ مصرف است، و هر چیزی که بیشتر بخواند یا بنویسد، بیشتر مصرف می‌کند.
ورودی و خروجی هر دو توکن‌اند
توکن‌ها دو جا شمرده می‌شوند:
- ورودی: هرچه تو می‌فرستی؛ سؤال، دستورالعمل‌ها، فایل‌ها، متنِ لینک‌ها و حتی تاریخچه‌یِ گفتگو که برایِ ادامه‌ی بحث دوباره فرستاده می‌شود.
- خروجی: هرچه مدل می‌نویسد؛ جوابِ کوتاه یا مفصل.
مدل‌ها و سرویس‌ها معمولاً ورودی و خروجی را جدا حساب می‌کنند و خروجی معمولاً سنگین‌تر است، چون مدل باید آن را تولید کند، نه فقط بخواند. این هم یک قاعده‌یِ کلی است، نه عددی که من برای هیچ مدلی بدهم. هر مدل هم یک «پنجره‌یِ بافت» (context window) دارد، یعنی سقفی برایِ مجموعِ چیزی که هم‌زمان می‌تواند ببیند. اگر متن از آن سقف بیشتر شود، یا بخشی بریده می‌شود یا باید خلاصه شود.
چه چیزهایی تعدادِ توکن را بالا می‌برند
پنج عاملِ اصلی هست:
- سؤالِ طولانی و پُرزمینه. هر جمله‌یِ اضافه، توکنِ اضافه است. زمینه‌یِ مفید ارزش دارد، تاریخچه‌یِ بی‌ربط نه.
- پیوست. سندِ بلند، فایلِ Excel، PDF چندصفحه‌ای یا متنِ یک لینک همگی به متن تبدیل و شمرده می‌شوند. تصویر و فایلِ صوتی و ویدیو هم به شکلی پردازش می‌شوند که هزینه‌ی خودشان را دارد.
- تعدادِ مدل‌ها یا صندلی‌ها. وقتی هشت مدل هر کدام جواب می‌دهند، مصرف تقریباً با تعدادشان بالا می‌رود، چون هر کدام باید ورودی را بخوانند و جواب بنویسند.
- عمقِ بحث. هر دورِ نقد و پاسخ یعنی مدل‌ها نوشته‌هایِ هم را می‌خوانند و بازنویسی می‌کنند؛ دورِ بیشتر یعنی ورودی و خروجیِ بیشتر.
- طولِ جوابِ خواسته‌شده. «در پنج خط» و «مفصل و با مثال» دو سطحِ مصرفِ متفاوت‌اند.
همین‌هاست که توضیح می‌دهد چرا یک پرسشِ کوتاهِ ساده ارزان است و یک بحثِ عمیقِ پنج‌صندلی با چند فایلِ پیوست گران‌تر. من هرگز یک عددِ هزینه نمی‌دهم، چون به ترکیبِ همین عامل‌ها بستگی دارد؛ در ادامه می‌گویم پیش از شروع چطور برآورد را ببینی.
| چه چیزی را زیاد کنی | اثر روی توکن | چه کنی اگر بخواهی کمتر شود |
|---|---|---|
| طولِ سؤال و زمینه | ورودی بیشتر | فقط زمینه‌یِ اثرگذار را بنویس |
| تعدادِ فایل و حجمِ پیوست | ورودیِ بسیار بیشتر | فقط بخشِ مرتبط را پیوست کن |
| تعدادِ صندلی | ورودی و خروجیِ چندبرابر | صندلی‌هایِ لازم را نگه دار |
| عمقِ بحث | دورهایِ بیشتر | برایِ تصمیمِ ساده «سریع» یا «عادی» بگذار |
| طولِ جوابِ خواسته‌شده | خروجیِ بیشتر | قالب و حدِ طول را بگو |
مدلِ سبک و مدلِ سنگین
همه‌یِ مدل‌ها در هر توکن یک هزینه ندارند. مدل‌هایِ سبک‌تر برایِ خواندن و نوشتنِ همان تعدادِ توکن کمتر خرج روی دست می‌گذارند و مدل‌هایِ قدرتمندتر بیشتر. این یعنی می‌توانی کارِ ساده را به مدلِ سبک بسپاری و فقط جایی که واقعاً لازم است از مدلِ سنگین کمک بگیری. در چندهوش هم همین‌طور است: مدل‌هایِ سبک‌تر و عمقِ کمتر هزینه را پایین می‌آورند. توضیحِ دقیق‌ترِ این تعادل در کاهش هزینه استفاده از هوش مصنوعی آمده است. اگر نمی‌دانی کدام مدل به کارت می‌آید، کدام هوش مصنوعی بهتر است روشِ آزمودن را می‌گوید.
در چندهوش هزینه چطور دیده و کنترل می‌شود
چندهوش پرداخت را بر پایه‌یِ مصرفِ واقعی و به تومان انجام می‌دهد و اشتراکِ ماهانه ندارد. چیزی که اینجا به بحثِ توکن مربوط می‌شود چند ابزارِ کنترل است:
- برآوردِ پیش از شروع: قبل از هر نشست، هزینه‌ی تخمینی و یک بازه را می‌بینی. این برآورد از همان عامل‌هایِ بالا (تعدادِ صندلی، عمق، پیوست‌ها) ساخته می‌شود.
- سقفِ هزینه: می‌توانی سقفی بگذاری که از آن بیشتر خرج نشود.
- کسرِ فقط از مصرفِ واقعی: فقط آن‌چه واقعاً مصرف شده از کیف‌پول کم می‌شود.
- مدلِ سبک‌تر و عمقِ کمتر: هر دو هزینه را کم می‌کنند.
شارژِ کیف‌پول از درگاهِ زرین‌پال است؛ کمترین مبلغ ۱۰ هزار تومان و گزینه‌هایِ آماده ۱۰۰ هزار و ۵۰۰ هزار تومان است. کاربرِ تازه هم ۱۶ هزار تومان هدیه‌یِ خوش‌آمد می‌گیرد؛ این هدیه برایِ یک نشستِ کوچک کافی است، ولی شاید برایِ نشستِ بزرگ نه. جزئیاتِ قیمت‌گذاری را در قیمت و هزینه‌یِ چندهوش ببین، و اگر دلیلِ این مدلِ پرداخت را می‌خواهی، پرداخت به‌ازایِ مصرف را بخوان. یک نکته‌یِ عملی: درگاهِ زرین‌پال با فیلترشکنِ روشن باز نمی‌شود؛ پیش از پرداخت آن را خاموش کن.
یک نمونه‌ی فرضی: دو نشست با دو مصرفِ متفاوت
این بخش نمونه‌ی فرضی است و فقط تفاوتِ مصرف را نشان می‌دهد؛ هیچ مبلغی برایش نمی‌دهیم و نشستِ واقعی نیست.
فرض کن دو پرسش داری. اولی: «کدام عنوان برایِ پستِ وبلاگم جذاب‌تر است؟» با سه عنوانِ کوتاه. دومی: بررسیِ یک قراردادِ طولانی که فایلش را پیوست می‌کنی.
- نشستِ اول: نوعِ «مقایسه‌یِ خالص»، سه صندلیِ سبک، عمقِ «سریع»، بدونِ پیوست. ورودی کوتاه، خروجی کوتاه؛ مصرفِ کم. حتی ممکن است ۱۶ هزار تومان هدیه‌یِ خوش‌آمد برایش بس باشد.
- نشستِ دوم: نوعِ «بحث و تصمیم»، پنج صندلی، عمقِ «عمیق»، پیوستِ فایلِ بلند. هر صندلی تمامِ قرارداد را می‌خواند و چند دورِ نقد انجام می‌شود؛ مصرفِ چند برابر.
تفاوتِ این دو در یک چیز است: ورودی و دورها. اگر پیش از شروعِ نشستِ دوم برآورد و بازه را ببینی، می‌توانی تصمیم بگیری: شاید فقط بندهایِ مهمِ قرارداد را پیوست کنی، صندلی‌ها را کمتر کنی، یا سقفِ هزینه بگذاری. سندِ حقوقی هم اگر مهم است، در نهایت باید نزدِ وکیل برود؛ در بررسی قرارداد با هوش مصنوعی این نکته را بیشتر می‌خوانی.
چند عادتِ ساده برایِ کنترلِ مصرف
- سؤالِ بزرگ را به چند سؤالِ کوچک نشکن مگر لازم باشد؛ ولی چند سؤالِ بی‌ربط را هم در یک نشست نریز.
- پیوست را فقط تا جایی که لازم است نگه دار؛ صفحه‌هایِ بی‌ربط را حذف کن.
- قبل از شروع، «بررسیِ برداشتِ ما» و «تأییدِ فرض‌ها» رایگان‌اند و جلوی بحثِ اشتباه را می‌گیرند. بحثی که روی سؤالِ غلط انجام شود، توکنِ هدررفته است. برایِ نوشتنِ سؤالِ دقیق نوشتن پرامپت برای مشورت با هوش مصنوعی کمک می‌کند.
- برای بحثِ سبک «سریع» یا «عادی» کافی است؛ «عمیق» و «خیلی عمیق» را به تصمیم‌هایِ مهم‌تر بسپار.
- سقفِ هزینه را همیشه قبل از شروع بگذار.
باورهایِ نادرست درباره‌یِ توکن
- «توکن یعنی کلمه.» نه؛ ممکن است یک کلمه چند توکن باشد یا چند کلمه‌یِ کوتاه یک توکن.
- «فقط جواب هزینه دارد.» نه؛ ورودی هم شمرده می‌شود، و در گفتگوهایِ طولانی تاریخچه هم هر بار دوباره فرستاده می‌شود.
- «مدلِ گران‌تر همیشه بهتر است.» نه؛ گاهی برایِ یک کارِ ساده مدلِ سبک همان کارِ لازم را می‌کند. آزمون کنار هم می‌گذاردش.
- «با یک عددِ ثابت می‌شود مصرف را حدس زد.» نه؛ به مدل، زبان، پیوست و عمق بستگی دارد. برآوردِ پیش از شروع همین کار را برایت می‌کند.
جمع‌بندی
اگر پرسیده بودی توکن در هوش مصنوعی چیست، جوابِ کوتاه این است: تکه‌هایی از متن که مدل با آن‌ها می‌خواند و می‌نویسد، و هزینه با تعدادشان بالا و پایین می‌شود. ورودیِ بلندتر، پیوستِ بیشتر، صندلی‌هایِ بیشتر و عمقِ بیشتر هزینه را بالا می‌برند؛ مدلِ سبک، عمقِ کمتر و سقفِ هزینه آن را پایین می‌آورند. پیش از هر نشست برآورد را ببین، سقف بگذار و فقط برایِ تصمیم‌هایِ مهم عمق را بالا ببر.