احتمالاً بدون اینکه بدانید برای کلود بیش از حد پول پرداخت می‌کنید — این یک ترفند همه‌چیز را تغییر می‌دهد

هوش مصنوعی گران است و احتمالاً تا امروز آن را حس کرده‌اید. اشتراکی که پیش‌تر همه‌چیز را پوشش می‌داد، حالا مدل‌های بهتر را پشت سطوح بالاتر پنهان کرده است؛ محدودیت‌ها به‌طور محسوسی سخت‌گیرانه‌تر شده‌اند و قابلیت‌هایی که واقعاً می‌خواهید، مدام در صفحه قیمت‌گذاری به رده‌های بالاتر منتقل می‌شوند.

بخش زیادی از این وضعیت، نتیجه سرمایه‌داری و هزینه طبیعی کسب‌وکار در زمانی است که تقاضا برای توان پردازشی از عرضه پیشی می‌گیرد؛ اما همه‌چیز از کنترل شما خارج نیست. در شیوه استفاده شما از این ابزارها هزینه‌ای پنهان وجود دارد که هم در سرعت رسیدن به محدودیت‌ها و هم در کیفیت پاسخ‌ها در پایان یک گفت‌وگوی طولانی خود را نشان می‌دهد. خوشبختانه، راه‌حل به‌طرز خجالت‌آوری ساده است و تنها به درک این موضوع نیاز دارد که با هر بار فشردن دکمه ارسال چه رخ می‌دهد.

مدل حافظه ندارد

فقط همه‌چیز را از نو می‌خواند

نکته‌ای که بیشتر افراد هرگز درباره کلود، ChatGPT، Gemini یا هر چت‌بات دیگری متوجه نمی‌شوند، این است: آن‌ها حافظه ندارند؛ دست‌کم نه آن‌گونه که انتظار دارید. همه دستیاران هوش مصنوعی اکنون به شکلی از حافظه پایدار مجهز شده‌اند و برخی نیز خلاصه‌های حافظه را نگه می‌دارند یا امکان جست‌وجو در گفت‌وگوهای گذشته را می‌دهند، اما مدل زبانی بزرگ در لایه زیرین چنین کار نمی‌کند. خود مدل هیچ‌چیز را به خاطر نمی‌سپارد. هر بار که دکمه ارسال را می‌زنید، از نو آغاز می‌کند و هیچ خاطره‌ای از گفت‌وگوی قبلی ندارد.

پس چطور می‌تواند روند گفت‌وگو را دنبال کند؟ هر بار که پیام تازه‌ای می‌فرستید، کل گفت‌وگو از ابتدا به مدل تحویل داده می‌شود. آن حس پیوستگی، حاصل حافظه مدلی نیست که همه‌چیز را به خاطر سپرده باشد؛ بلکه از این واقعیت می‌آید که پیش از هر پاسخ، کل چت از ابتدا تا انتها دوباره خوانده می‌شود. همه این موارد در چیزی به نام پنجره زمینه قرار می‌گیرند. آنتروپیک آن را «حافظه کاری» مدل توصیف می‌کند: تمام متنی که مدل هنگام تولید پاسخ می‌تواند به آن رجوع کند، از جمله خود پاسخ.

هر پیامی که می‌فرستید، بیش از پیام قبلی هزینه دارد

هم از نظر توکن، هم از نظر تمرکز

آنتروپیک در مستندات خود توضیح می‌دهد که با پیش رفتن گفت‌وگو، هر پیام کاربر و هر پاسخ دستیار در پنجره زمینه انباشته می‌شود و نوبت‌های پیشین کاملاً حفظ می‌شوند. چیزی حذف نمی‌شود. نخستین درخواست شما، پاسخ کلود، پیگیری شما و پاسخ بعدی آن؛ هر نوبت بر نوبت پیشین افزوده می‌شود و کل این انباشت پیش از هر پاسخ تازه دوباره خوانده می‌شود.

موضوع را این واقعیت پیچیده‌تر می‌کند که فقط پیام‌های شما انباشته نمی‌شوند. هر چیزی که در یک درخواست تازه وجود دارد، بخشی از پنجره زمینه محسوب می‌شود؛ از جمله دستورالعمل‌های سیستمیِ در حال اجرا در پس‌زمینه، همه پیام‌های گفت‌وگو، هر نتیجه ابزار و هر تصویر یا سندی که در آن وارد کرده‌اید. حتی فرایند استدلال کلود، یعنی تفکری که پیش از پاسخ‌دادن انجام می‌دهد، نیز در این محاسبه دخیل است.

تصور کنید این مسئله در گفت‌وگویی نسبتاً طولانی چه معنایی پیدا می‌کند. مثلاً در صدمین پیام، دیگر تنها یک پیام نمی‌فرستید؛ بلکه همه ۱۰۰ پیام خود، ۹۹ پاسخ مدل، هر سند، تصویر و نتیجه ابزاری که از چت گذشته است و استدلالی را که مدل در این مسیر انجام داده، دوباره می‌فرستید. همه این‌ها بسته‌بندی و از ابتدا بازخوانی می‌شوند تا مدل بتواند تنها به آخرین جمله شما پاسخ دهد.

پس این موضوع واقعاً چقدر برای شما هزینه دارد؟

با سرعت و کیفیت پاسخ هزینه می‌پردازید

در نهایت، هر نوبت از نوبت قبل سنگین‌تر است، زیرا تمام آنچه پیش‌تر آمده را با خود حمل می‌کند. این بار به دو شکل بر شما، کاربر، تحمیل می‌شود.

اولین هزینه روشن است: سریع‌تر به محدودیت می‌رسید. چه در API به‌ازای هر توکن پول بپردازید، چه با سقف‌های مصرف یک اشتراک کار کنید، پردازش هر پیام تازه بیش از پیام قبل هزینه دارد، زیرا کل گفت‌وگو را با خود می‌کشد. در API، این هزینه پول واقعی است. در صدمین پیام، هر بار برای پردازش مجدد ۹۹ پیام پیشین پول می‌پردازید. در اشتراک نیز سهمیه مصرف بسیار سریع‌تر از آنچه باید، تمام می‌شود.

هزینه دوم این است که پاسخ‌ها واقعاً افت می‌کنند. شاید تصور کنید زمینه بیشتر، یعنی اطلاعات بیشتر برای مدل؛ و این تا حدی درست است. اما مستندات خود آنتروپیک می‌گوید زمینه بیشتر لزوماً بهتر نیست. با افزایش شمار توکن‌ها، دقت و توان یادآوری مدل افت می‌کند؛ پدیده‌ای که آنتروپیک آن را «فرسایش زمینه» می‌نامد. جزئیاتی که واقعاً مهم‌اند، مانند پرسش اصلی شما یا یک دستورالعمل حیاتی، زیر انبوه مطالب دیگری که در چت گفته‌اید دفن می‌شوند و مدل در بیرون کشیدن آن‌ها از این انباشت، ضعیف‌تر عمل می‌کند.

راه‌حل: همه‌چیز را از ابتدا ارائه کنید

گفت‌وگوی قطره‌چکانی بیشتر ضرر دارد تا سود

دلیل بررسی این سازوکارها با چنین جزئیاتی، این است که راه‌حل تنها زمانی پایدار می‌ماند که واقعاً مشکل و نحوه کار همه‌چیز در پس‌زمینه را درک کنید. خود راه‌حل ساده است: از همان ابتدا همه‌چیز را ارائه کنید. به‌جای آنکه درخواست خود را در ده‌ها پیام قطره‌چکانی پخش کنید — یک سؤال بپرسید، پاسخ بگیرید، موضوعی را روشن کنید، اصلاحی انجام دهید و چیزی را که فراموش کرده بودید بیفزایید — بهترین رویکرد این است که تا جای ممکن همه اطلاعات را در نخستین پیام خود بیاورید.

نمونه‌ای از یک گفت‌وگوی قطره‌چکانی رایج در ادامه آمده است؛ همان نوع گفت‌وگویی که بیشتر ما بی‌آنکه دوباره فکر کنیم، تجربه‌اش می‌کنیم:

از همان ابتدا تصویر کامل را به مدل بدهید: زمینه، محدودیت‌ها، نمونه‌ها، قالب دلخواه و همه چیز را در یک پیام بگنجانید. این رویکرد هم‌زمان با هر دو هزینه مقابله می‌کند. برای حل مشکل کیفیت پاسخ، بارگذاری اولیه اطلاعات ضربه‌ای مستقیم است. فرسایش زمینه را به یاد دارید؟ یک اعلان واحد و خوش‌ساخت، نقطه مقابل آن است: هرچه مدل نیاز دارد، همان‌جا متمرکز است و چیزی آن را زیر انبوه اطلاعات دفن نمی‌کند. به‌جای آنکه مدل مجبور شود نیت شما را از میان چهل پیام پراکنده بازسازی کند، یک بریف تمیز در اختیارش می‌گذارید.

برای مشکل محدودیت‌ها، مزیت این کار کمی کمتر آشکار است. بارگذاری اولیه اطلاعات، هیچ پیام منفردی را سبک‌تر نمی‌کند؛ حتی ممکن است اعلان آغازین بزرگ‌تر و سنگین‌تر باشد. اما به شما کمک می‌کند با تعداد نوبت‌های بسیار کمتری به نتیجه برسید. از آنجا که هر نوبت کل گفت‌وگو را دوباره می‌خواند، نوبت‌های کمتر یعنی بازپردازش کلی کمتر. ده رفت‌وبرگشت برای پالایش درخواستی که می‌توانستید همان ابتدا روشن بیان کنید، یعنی ده‌بار بازخوانی انباشته زمینه. درخواست را همان بار نخست درست مطرح کنید تا کل فرایند به یک یا دو نوبت کاهش یابد.

در نهایت، اگر با محدودیت‌هایی دست‌وپنجه نرم می‌کنید که سریع‌تر از انتظار تمام می‌شوند، یا پاسخ‌هایی می‌گیرید که هرچه گفت‌وگو طولانی‌تر می‌شود، منحرف‌تر و کندتر می‌شوند، مشکل شاید تنها در شیوه گفت‌وگوی شما با این ابزارها باشد. آنچه نیاز دارید از همان ابتدا ارائه کنید، رشته‌های گفت‌وگو را سبک نگه دارید و وقتی یکی به پایان رسید، گفت‌وگوی تازه‌ای آغاز کنید. هوش مصنوعی گران است؛ دلیلی ندارد آن را از آنچه باید باشد، گران‌تر کنید.

منبع: این مطلب ترجمه و بومی‌سازی مقاله‌ای از MakeUseOf به قلم Mahnoor Faisal است. مشاهده مقاله اصلی