احتمالاً بدون اینکه بدانید برای کلود بیش از حد پول پرداخت می‌کنید — این یک ترفند همه‌چیز را تغییر می‌دهد

هوش مصنوعی گران است و احتمالاً تا الان آن را حس کرده‌اید. اشتراکی که قبلاً همه‌چیز را پوشش می‌داد، حالا مدل‌های خوب را پشت سطح بالاتری پنهان کرده، محدودیت‌ها به‌طور قابل‌توجهی سخت‌گیرانه‌تر شده‌اند، و امکاناتی که واقعاً می‌خواهید مدام در صفحه قیمت‌گذاری بالاتر می‌روند.

بسیاری از این موضوع صرفاً سرمایه‌داری محض و هزینه کسب‌و‌کار زمانی است که تقاضا برای محاسبه بیشتر از عرضه است، اما همه‌چیز از کنترل شما خارج نیست. هزینه‌ای در نحوه استفاده واقعی شما از این ابزارها وجود دارد که هم در سرعت رسیدن به محدودیت‌ها و هم در کیفیت پاسخ‌ها در انتهای یک گفت‌وگوی طولانی خود را نشان می‌دهد. خوشبختانه، راه‌حل تقریباً به‌طرز خجالت‌آوری ساده است و تنها چیزی که نیاز دارد، درک این واقعیت است که هر بار دکمه ارسال را می‌زنید چه اتفاقی می‌افتد.

مدل حافظه ندارد

فقط همه‌چیز را از نو می‌خواند

نکته‌ای که بیشتر افراد هرگز درباره کلود، ChatGPT، Gemini یا هر چت‌باتی متوجه نمی‌شوند این است: آن‌ها حافظه ندارند. حداقل نه به شکلی که امیدوارید. با اینکه همه دستیاران هوش مصنوعی اکنون با نوعی حافظه پایدار عرضه می‌شوند و برخی خلاصه‌های حافظه را نگه می‌دارند و قابلیت جستجو در گفت‌وگوهای گذشته را دارند، اما این‌طور نیست که یک مدل زبانی بزرگ واقعاً کار کند. در زیر، خود مدل هیچ‌چیز را به خاطر نمی‌سپارد. هر بار که ارسال را می‌زنید، سرد بیدار می‌شود، بدون هیچ یادآوری از گفت‌وگویی که داشته‌اید.

پس چطور همراه شما پیش می‌رود؟ کل گفت‌وگو هر بار که پیام جدیدی می‌فرستید، از صفر به آن تحویل داده می‌شود. آن حس پیوستگی که احساس می‌کنید، حافظه، مدل نیست که به خاطر می‌سپارد. بلکه، کل چت است که قبل از هر پاسخ از ابتدا تا انتها دوباره خوانده می‌شود. همه این‌ها در چیزی به نام پنجره زمینه قرار دارد. آنتروپیک آن را «حافظه کاری» مدل توصیف می‌کند — تمام متنی که مدل هنگام تولید پاسخ می‌تواند به آن ارجاع دهد، از جمله خود پاسخ.

هر پیامی که می‌فرستید بیش از قبلی هزینه دارد

هم به توکن، هم در تمرکز

آنتروپیک در مستندات خود توضیح می‌دهد که با پیشرفت گفت‌وگو در نوبت‌ها، هر پیام کاربر و پاسخ دستیار در پنجره زمینه انباشته می‌شود و نوبت‌های قبلی کاملاً حفظ می‌شوند. هیچ‌چیزی خارج نمی‌شود. اولین درخواست شما، پاسخ کلود، پیگیری شما، پاسخ بعدی آن — هر نوبت روی قبلی انباشته می‌شود و کل انبوهه قبل از هر پاسخ جدید دوباره خوانده می‌شود.

آنچه این موضوع را پیچیده‌تر می‌کند این است که فقط پیام‌های شما انباشته نمی‌شوند. همه‌چیز در یک درخواست جدید به پنجره زمینه تعلق می‌گیرد، از جمله دستورالعمل‌های سیستمی که در پس‌زمینه اجرا می‌شوند، هر پیام در گفت‌وگو، هر نتیجه ابزار، و هر تصویر یا سندی که در آن گذاشته‌اید. حتی استدلال خود کلود، یعنی تفکری که قبل از پاسخ دادن انجام می‌دهد، هم حساب می‌شود.

فکر کنید این در یک گفت‌وگوی نسبتاً طولانی چه معنایی دارد. مثلاً در پیام صدّهم شما، دیگر یک پیام نمی‌فرستید. شما همه ۱۰۰ پیام را می‌فرستید، به‌علاوه همه ۹۹ پاسخ مدل، به‌علاوه هر سند، تصویر و نتیجه ابزاری که از چت عبور کرده، به‌علاوه استدلالی که در طول مسیر انجام داده است. همه این‌ها بسته‌بندی و از بالا دوباره خوانده می‌شوند، فقط برای اینکه مدل بتواند به آخرین جمله شما پاسخ دهد.

پس این واقعاً چقدر برای شما هزینه دارد؟

با سرعت و هوش پرداخت می‌کنید

در نهایت، هر نوبت سنگین‌تر از قبلی است، زیرا هر نوبت همه‌چیز قبلی را با خود حمل می‌کند. این وزن روی شما، کاربر، به دو شکل وارد می‌شود.

اولی بدیهی است: سریع‌تر به محدودیت می‌رسید. چه به‌ازای هر توکن در API پرداخت کنید یا در محدودیت‌های یک اشتراک کار کنید، هر پیامی که می‌فرستید پردازش آن بیش از قبلی هزینه دارد، زیرا کل گفت‌وگو را با خود می‌کشد. در API، این پول واقعی است. در پیام صدم شما، هر بار برای پردازش مجدد نود‌و‌نه پیام قبلی پرداخت می‌کنید. در اشتراک، محدودیت‌های استفاده سریع‌تر از آنچه باید تخلیه می‌شوند.

هزینه دوم این است که پاسخ‌های شما واقعاً بدتر می‌شوند. فرض می‌کنید زمینه بیشتر یعنی مدل بهتر اطلاعات دارد، و تا حدی درست است. مستندات خود آنتروپیک می‌گوید زمینه بیشتر خودبخود بهتر نیست. با افزایش تعداد توکن، دقت و یادآوری مدل شروع به تنزل می‌کنند، پدیده‌ای که آنتروپیک فساد زمینه می‌نامد. جزئیاتی که واقعاً اهمیت دارند (سؤال واقعی شما، آن یک دستورالعمل حیاتی) زیر همه‌چیز دیگری که در آن چت گفته‌اید دفن می‌شوند و مدل در بیرون کشیدن آن‌ها از انبوهه بدتر می‌شود.

راه‌حل این است که همه‌چیز را از ابتدا بارگذاری کنید

یک گفت‌وگوی قطره‌چکانی بیشتر آسیب می‌زند تا سود می‌رساند

دلیل اینکه تا این حد عمیق‌تر مکانیزم‌ها را بررسی کردم این است که راه‌حل تنها زمانی پایدار می‌ماند که واقعاً مشکل و نحوه کار تمام چیزها را در پس‌زمینه درک کنید. خود راه‌حل ساده است: از ابتدا همه چیز را ارائه کنید. به جای اینکه درخواست خود را در طول ده‌ها پیام قطره‌چکانی پخش کنید (پرسیدن یک سؤال، گرفتن پاسخ، روشن‌سازی، اصلاح، افزودن چیزی که فراموش کرده بودید)، بهترین رویکرد این است که تا جای ممکن همه چیز را در اولین پیام خود قرار دهید.

نمونه‌ای از ظاهر یک گفت‌وگوی قطره‌چکانی معمول در اینجا آمده است، از همان نوعی که بیشتر ما بدون فکر دوم آن را تجربه می‌کنیم:

تصور کامل را از همان ابتدا به مدل بدهید: زمینه، محدودیت‌ها، مثال‌ها، قالب مورد نظرتان، همه چیز، در یک پیام. این رویکرد علیه هر دو هزینه همزمان کار می‌کند. برای مشکل کیفیت پاسخ، preloading یک ضربه مستقیم است. به یاد داشته باشید context rot را؟ یک اعلان واحد و خوش‌ساخت نقطه مقابل آن است: هر آنچه مدل به آن نیاز دارد همین‌جا متمرکز است و چیزی آن را مدفون نمی‌کند. شما یک بریف تمیز به دستش می‌دهید به‌جای اینکه نیت خود را از چهل پیام پراکنده بازسازی کند.

برای مشکل محدودیت‌ها، این موفقیت کمی کمتر بدیهی است. preloading هیچ پیام منفردی را سبک‌تر نمی‌کند. اگر چیزی، یک اعلان آغازین بزرگ‌تر سنگین‌تر است. کاری که می‌کند این است که به شما اجازه می‌دهد در تعداد نوبت بسیار کمتری به آنچه نیاز دارید برسید. و از آنجا که هر نوبت کل گفت‌وگو را دوباره می‌خواند، نوبت‌های کمتر یعنی بازپردازش کلی کمتر. ده بiska رفت‌وبرگت برای پالایش درخواستی که می‌توانستید یک‌بار مشخص کنید، ده‌برابر بازخوانی انباشته زمینه، دوباره و دوباره است. بار اول خوب بگویید، و تمام آن را در یک یا دو نوبت فرو می‌پاشانید!

در نهایت، اگر با محدودیت‌هایی که سریع‌تر از آنچه باید ناپدید می‌شوند دست‌وپنجه نرم کرده‌اید، یا پاسخ‌هایی که هرچه بیشتر گفت‌وگو می‌کنید بیشتر منحرف و کُند می‌شوند، مشکل ممکن است صرفاً نحوه صحبت شما با آن‌ها باشد. پس، آنچه نیاز دارید از ابتدا ارائه کنید، رشته‌های خود را سبک نگه دارید، و وقتی یکی به پایان رسید، تازه شروع کنید. هوش مصنوعی گران است. دلیلی وجود ندارد که آن را گران‌تر از آنچه باید باشد کنید.

منبع: این مطلب ترجمه و بومی‌سازی مقاله‌ای از MakeUseOf به قلم Mahnoor Faisal است. مشاهده مقاله اصلی