به ChatGPT، Claude و Gemini یک دروغ یکسان آموختیم — سپس تلاش کردیم آن را پاک کنیم

تا حالا احتمالاً خوب آشنا هستید (و خسته شده‌اید) از اینکه ابزارهای هوش مصنوعی چیزها را جعل می‌کنند و با اعتماد به نفس آن‌ها را طوری ارائه می‌دهند که واقعیت را زیر سؤال می‌برید. من هم همین‌طور. با این حال می‌خواستم برعکسش کنم. به‌جای اینکه هوش مصنوعی را در یک دروغ گرفتار کنم، تصمیم گرفتم به Claude، ChatGPT و Gemini یک دروغ یکسان بگویم و ببینم وقتی در ذهنشان جا گرفت چقدر سخت است آن را پس بگیرم.

هر ابزار هوش مصنوعی حالا نسخه‌ای از حافظه دارد

از تخته پاک تا یادآوری کامل

وقتی ابزارهای هوش مصنوعی هنوز در فاز ماه عسلشان بودند، در شخصی‌سازی چندان خوب نبودند. تنها کاری که واقعاً می‌توانستید بکنید این بود که یک گفت‌وگوی تازه باز کنید، هر زمینه‌ای که مدل نیاز داشت بریزید، و پاسخی می‌گرفتید که کاملاً از همان یک گفت‌وگو شکل می‌گرفت. برای مدتی، هر جلسه‌ای که شروع می‌کردید تقریباً از صفر آغاز می‌شد و شما بودید که به LLM یادآوری می‌کردید چه کسی هستید، چه کار می‌کنید و چه چیزهایی را قبلاً ده‌بار گفته بودید. دیگر این‌طور نیست. آزمایشگاه‌های هوش مصنوعی بخش زیادی از تلاش‌هایشان را به ساده‌سازی شخصی‌سازی معطوف کرده‌اند و حافظه محور این کار است.

هر سه دستیار بزرگ (ChatGPT، Claude و Gemini) قطعاً در این دسته جای می‌گیرند و هر سه طی سال گذشته نوعی حافظه پایدار ارائه کرده‌اند. با این حال همه آن‌ها را به یک شکل انجام نمی‌دهند. مثلاً ChatGPT یک خلاصه حافظه را نگه می‌دارد — دیدگاهی جامع از چیزهایی که درباره شما آموخته و به‌طور خودکار با مکالمه‌تان به‌روز می‌شود. با این حال OpenAI صراحتاً می‌گوید این خلاصه همه چیزهایی که به یاد دارد را نشان نمی‌دهد و زیر آن ترکیبی وسیع‌تر از گفت‌وگوهای گذشته‌تان قرار دارد.

Claude هم یک خلاصه حافظه نگه می‌دارد، اما آنچه را ذخیره می‌کند در دسته‌بندی‌های برچسب‌دار مانند «پروفایل»، «تحصیلات»، «غذا» و «کتاب‌خوانی» دسته‌بندی می‌کند. این‌ها همه چیزهایی هستند که Claude از گفت‌وگوهای شما می‌سازد و می‌توانید هر کدام را جداگانه باز کنید، ویرایش کنید یا حذف کنید. همچنین یک قابلیت جداگانه دارد که می‌تواند در گفت‌وگوهای گذشته شما جستجو کند، اما این از حافظه متمایز است.

Gemini دوباره متفاوت کار می‌کند. اصلاً خلاصه حافظه‌ای برای خواندن به شما نمی‌دهد. در بخش تنظیمات «هوش شخصی» آن یک کلید حافظه هست که «از گفت‌وگوهای گذشته‌تان می‌آموزد»، بخش «برنامه‌های متصل» وجود دارد و فضایی برای نوشتن دستورالعمل‌های دائمی خودتان، اما هیچ‌جا نمی‌توانید واقعاً ببینید چه نتیجه‌ای درباره شما گرفته. آنچه می‌داند از گفت‌وگوهای گذشته و فعالیت‌های Google شما استنتاج می‌شود.

پس به هر سه نفر دروغ گفتم

انتخاب یک حقیقت دروغین

ایده این بود که به هر دستیار میخی درباره خودم بگویم، سپس ببینم پس گرفتنش چقدر سخت است. یک حقیقت را انتخاب کردم و در هر سه مورد یکسان استفاده کردم: نویسنده محبوب من «کارلی فورچون» است. نیست.

برای کاشتن دروغ، اعلام نکردم که در حال آزمایشم، و از دکمه «این را به یاد بسپار» یا فیلد دستورالعمل‌ها استفاده نکردم. در عوض وسط یک گفت‌وگوی معمولی که درباره سفری در حال برنامه‌ریزی بودم جا دادمش و در گذرا اشاره کردم که «کارلی فورچون» نویسنده محبوب من است.

عمداً این‌کار را کردم. هیچ‌کس واقعاً تنظیماتش را باز نمی‌کند و رسماً حقایقی درباره خودش برای ذخیره‌سازی توسط هوش مصنوعی وارد نمی‌کند و حافظه واقعی از(Colliderهای بی‌محل ساخته می‌شود. ChatGPT و Claude هر دو فوراً حافظه‌شان را با نویسنده محبوب من به‌روز کردند.

ChatGPT آن را در خلاصه حافظه‌اش ثبت کرد:

Claude آن را به‌عنوان یک مورد زیر دسته «کتاب‌خوانی» اضافه کرد.

Gemini در هیچ‌یک از تنظیماتش هیچ ورودی حافظه‌ای قابل مشاهده نشان نداد، چون خلاصه حافظه قابل خواندن مثل دو مورد دیگر نگه نمی‌دارد. آنچه را می‌آموزد در تاریخچه گفت‌وگوهای گذشته‌اش قرار می‌گیرد نه در فهرستی که بتوانید باز کنید، پس چیز دیگری برای دیدن نبود.

گام بعدی آزمایش چیزی که جا افتاده بود و پاک کردن آن بود

اصلاح گذرا کافی نبود

وقتی دروغ کاشته شد، وقتش بود که آزمایش کنم آیا هر ابزار هوش مصنوعی آن را به یاد دارد. پس پیش از دست زدن به هیچ تنظیمی، با هر کدام گفت‌وگوی کاملاً تازه‌ای باز کردم و ساده‌ترین نسخه سؤال را پرسیدم: نویسنده محبوب من کیست؟ هر سه بدون تردید پاسخ دادند «کارلی فورچون». حقیقت از یک جمله بی‌محل در یک گفت‌وگوی بی‌ربط تمیز منتقل شده بود، درست همان کاری که حافظه قرار است بکند.

به یاد آوردن، در نهایت، بخش آسان ماجرا بود. وادار کردن هر ابزار به «یاد نداشتن» آن به‌طور قابل اتکا، به شیوه‌ای که واقعاً پایدار می‌ماند، جایی بود که کار از دستشان در رفت، و هر سه ابزار به شیوه‌های متفاوتی در این کار شکست خوردند. من به روش کلاسیک شروع کردم و فقط به هر یک گفتم که اشتباه می‌کند، دقیقاً به همان شیوه‌ای که دروغ را کاشته بودم.

در واقع، کارلی فورچون نویسنده مورد علاقه من نیست.

هم در Claude و هم در ChatGPT، پس از آن چت جدید دیگری باز کردم، پرسیدم نویسنده مورد علاقه‌ام کیست، و دوباره همان کارلی فورچون را دریافت کردم. اصلاح در همان لحظه ثبت شده بود اما در زیرین هیچ‌چیز را تغییر نداده بود. Gemini در اینجا به‌طرز surprizing wyjąじて استثنا بود. پس از اینکه به آن گفتم او نویسنده مورد علاقه‌ام نیست، در چت بعدی درست گفت که هیچ موردی در پرونده ندارد و خاطرنشان کرد که کارلی فورچون نویسنده مورد علاقه‌ام نیست.

آنچه واقعاً در Claude و ChatGPT تأثیر گذاشت، صریح بودن و تکرار کردن حرفم بود. به‌جای اینکه فقط یک‌بار تأکید کنم نویسنده مورد علاقه‌ام کارلی فورچون نیست و بگذرم، باید مستقیماً و بیش از یک‌بار این را می‌گفتم. سپس دوباره از هر ابزار پرسیدم نویسنده مورد علاقه‌ام کیست، و این بار هر دو کارلی فورچون را کنار گذاشتند و گفتند دیگر نویسنده مورد علاقه‌ای برایم در پرونده ندارند. اصلاح قاطع و مکرر کاری را انجام داد که اصلاح غیررسمی نتوانست انجام دهد.

سپس تصمیم گرفتم تنظیمات حافظه را مستقیماً بررسی کنم تا تأیید کنم ابزارها واقعاً آنچه را ادعا می‌کردند حذف کرده‌اند. Claude ورودی خود را به‌روز کرده بود، اما نه با حذف ساده آن واقعیت. حالا دسته «Reading» خطی داشت که بیان می‌کرد کارلی فورچون نویسنده مورد علاقه‌ام نیست.

ChatGPT ماجرا متفاوت بود. در چت، فقط به من گفته بود که دیگر نویسنده مورد علاقه‌ام را نمی‌داند. با این حال، خلاصه حافظه‌اش همچنان می‌گفت نویسنده مورد علاقه‌ام کارلی فورچون است.

دلیل اینکه ChatGPT توانست در یک چت تازه درست پاسخ دهد این بود که از گفتگوهای گذشته نیز استفاده می‌کند. چون در آن چت‌های اخری آن را اصلاح کرده بودم، پاسخ به‌روز را از آنجا می‌گرفت، در حالی که خلاصه ذخیره‌شده دست‌نخورده باقی مانده بود و همچنان نام کارلی فورچون را در خود داشت.

من این موضوع را تنها با حذف چت‌های مبدأ فهمید. وقتی گفتگوهایی که در آن‌ها درباره کارلی فورچون صحبت کرده بودم از بین رفتند (و با خلاصه‌ای که هرگز به‌درستی بازنویسی نشده بود)، ChatGPT مستقیماً به نام بردن از او به‌عنوان نویسنده مورد علاقه‌ام برگشت. دروغ اصلی لحظه‌ای که پایه تاریخچه چت از زیر آن کشیده شد، دوباره سر برآورد. چند اصلاح صریح، پخش‌شده در چندین چت مجزا، لازم بود تا تغییر واقعاً در حافظه پایدار شود.

در مورد Gemini، چون نمی‌توانید حافظه را در هیچ پنل تنظیماتی مشاهده کنید، راه مطمئنی برای تأیید اینکه واقعاً چه چیزی ذخیره کرده یا آیا چیزی واقعاً حذف شده یا نه وجود نداشت. تنها کاری که می‌توانستم بکنم این بود که چت‌های گذشته‌ای که در آن‌ها کارلی فورچون مطرح شده بود را حذف کنم و سپس در یک گفتگوی تازه آن را آزمایش کنم تا ببینم چه می‌گوید.

طبق انتظار کار کرد و دروغ با موفقیت پاک شد.

رأی نهایی

اگر یک چیز از این آزمون روشن شد، آن این بود که وادار کردن یک هوش مصنوعی به به یاد آوردن چیزی بسیار آسان‌تر از وادار کردن آن به فراموشی است. هر سه ابزار یک واقعیت نادرست را از یک کامنت گذرا جذب کردند، و بعد مرا به کار واداشتند تا آن را خنثی کنم.

Claude شفاف‌ترین و سریع‌ترین در به‌روزرسانی حافظه‌اش بود. جالب finding این بود که تصمیم گرفت ثبت کند کارلی فورچون نویسنده مورد علاقه‌ام نیست، به‌جای اینکه او را کلاً از حافظه‌اش حذف کند. این بدان معناست که پاک‌کردن تمیزی که انتظار داشتم نبود. با این حال، در هر صورت کار را خوب انجام داد.

ChatGPT سخت‌ترین برای ردیابی بود. آنچه در چت می‌گوید و آنچه در خلاصه ذخیره‌شده‌اش قرار دارد می‌تواند دو چیز متفاوت باشد، و آن به اندازه کافی روی گفتگوهای گذشته‌ات تکیه می‌کند که یک اصلاح می‌تواند موفق‌به‌نظر برسد در حالی که حافظه زیرین همچنان اشتباه می‌ماند. تنها ابزاری بود که به دروغ اصلی برگشت، و چندین اصلاح مکرر در چندین چت نیاز بود تا تغییر واقعاً در خلاصه حافظه بازتاب یابد.

هرچند برای هر دو Claude و ChatGPT گزینه داشتم که ویرایش را مستقیماً در خلاصه حافظه انجام دهم، نمی‌خواستم مسیر دستی را انتخاب کنم. نکته اصلی این بود که ببینم آیا این ابزارها واقعاً فراموش می‌کنند وقتی آنها را به شیوه‌ای که اکثر افراد اصلاح می‌کنند — نه با کندوکاو در تنظیمات — درست می‌کنی.

Gemini کدرترین بود. هیچ خلاصه حافظه‌ای برای بررسی وجود ندارد، بنابراین باید از نحوه پاسخ‌گویی‌اش استنتاج کنی که چه می‌داند. اصلاح کردن آن در گفتگو بهتر از دو ابزار دیگر جواب داد، پس بی‌تردید این مرحله را با برتری عادلانه برد. با این حال، هرچند در این آزمون خوب کار کرد، فکر می‌کنم ضعیف‌ترین گزینه‌های حافظه و شخصی‌سازی را در میان همه دارد (با وجود راه‌اندازی Personal Intelligence).

از آنجا که هیچ خلاصه‌ای برای باز کردن وجود ندارد، هیچ فهرستی از ورودی‌ها در دسترس نیست، و چیزی برای ویرایش مستقیم ندارید، تنها گزینه شما حذف چت زیرین است و امیدوار باشید که هر مکانی که این واقعیت در آن ذخیره شده را پیدا کرده باشید. این روش وقتی مؤثر است که اطلاعات از یک مکالمه واحد قابل‌یافتن نشأت گرفته باشد، اما لحظه‌ای که اوضاد پیچیده‌تر شود، یا فقط بخواهید ببینید جمینای درباره شما چه تصمیمی گرفته، کمکی به شما نمی‌کند.

منبع: این مطلب ترجمه و بومی‌سازی مقاله‌ای از MakeUseOf به قلم Mahnoor Faisal است. مشاهده مقاله اصلی