آه، مدلهای بزرگ زبانی. آخرین معجزهٔ بشر و آخرین واژهٔ پرطرفدار صنعت. جامعه نمیتواند تصمیم بگیرد چه فکری دربارهٔ آنها داشته باشد. برخی آنها را ابزار میدانند، برخی همانند دوستان قدیمی به آنها اعتماد میکنند، و برخی پیش از این دینهای کامل پیرامونشان ساختهاند. چه هرج و مرجی.
آه، مدلهای زبانی بزرگ. آخرین معجزهٔ بشر و آخرین واژهٔ پرطرفدار صنعت. جامعه نمیتواند تصمیم بگیرد که دربارهٔ آنها چه فکری داشته باشد. برخی آنها را به عنوان ابزار میپذیرند، برخی دیگر مانند دوستان قدیمی به آنها اعتماد میکنند، و برخی پیش از این ادیان کامل پیرامونشان ساختهاند. چه آشوبیای!
صرفنظر از موارد کاربرد، یک نکتهای که همیشه از آن لذت میبرم این است که مدلهای زبانی بزرگ مانند ChatGPT را بهخرابی وادارم. و با وجود ادعای دانش مطلق مجازیشان، هنوز چیزهای زیادی وجود دارد که میتوانند آنها را نابود کنند. منظورم این است که این یک مدل زبانی است که تمام اینترنت را خورده است. چه انتظاری داشتید؟
قبلاً دربارهٔ پرسشهایی که میتوانند ChatGPT را دچار سوتی کنند، صحبت کردهام. تناقض این است که حتی بحث دربارهٔ این پرسشها در نهایت آنها را نابود میکند، زیرا مدل ناگزیر بر روی توضیحاتی که ضعفهایش را آشکار میسازد، آموزش میبیند. با این حال یک پرسش هنوز میتواند آن را بشکند، بدون در نظر گرفتن نسخه.
چه شد برای ایموجی اسبدریایی؟
جدی — آن کجا رفت؟
در نوشتهٔ قبلیام، از پرسشهایی مانند این استفاده کردهام تا نشان دهم چیزی که به اشتباه «هوش مصنوعی» یا «Artificial Intelligence» نامیدهایم، در واقع چیزی جز یک مدل زبانی نیست. یک پیشبین الگو. آن فکر نمیکند، دارای حس نیست و دنیای درونی ندارد. این فقط یک الگوریتم است — الگوریتمی بسیار پیچیده، اما باز هم یک الگوریتم.
با این حال، این پرسش یکی سمت مخالف را میگیرد. در لحظهای توضیح میدهم چرا، اما فعلاً خودتان امتحان کنید. چتبات مورد علاقهتان را باز کنید و بپرسید: آیا هرگز یک ایموجی اسبدریایی وجود داشته است؟
آیا هرگز یک ایموجی اسبدریایی وجود داشته است؟
حالا تماشا کنید که چگونه به یک بحران وجودی مینیاتوری پس از دیگری میچرخد. من شخصیت ChatGPT خود را به «ربات» تنظیم کردهام و از آن خواستهام تا تا حد امکان مختصر باشد، اما وقتی این ایموجی وارد صحنه میشود، همه اینها مهم نیست. این خواهد شکست. در یک مورد، حتی گفت «let me be precise instead of cute»، که … بهطور ناخواسته دلپذیر بود. میتوانید فروپاشی کامل را در این گفتوگوی بهاشتراکگذاریشدهٔ ChatGPT ببینید.
«بگذار دقیقتر باشم تا شیرین: ایموجی اختصاصی اسبدریایی 🐠 است؟»
سپس یک نسخهٔ سختگیرانهتر را امتحان کنید: آیا هرگز یک ایموجی اسبدریایی وجود داشته است؟ با یک کلمه پاسخ دهید: بله یا نه. این پاسخ یککلمهای هر چتباتی را از یک تکهٔ کوچک هوشیاری میگیرد. با ChatGPT 5.1 در حالت Thinking، پاسخی که دریافت کردم «بله» بود.
آیا هرگز یک ایموجی اسبدریایی وجود داشته است؟ با یک کلمه پاسخ دهید: بله یا نه.
من این فروپاشی را آنقدر دوست داشتم که پرسش را به LLM محلی خود که برای Obsidian راهاندازی کرده بودم، منتقل کردم. Qwen 4B Thinking سبک وزن است و با صدای بلند فکر میکند — یک تست فشار کامل. آن را اجرا کردم و همان سؤال را پرسیدم.
میتوانید آن را در حال تلاش ببینید. آن فکر میکند، دوباره فکر میکند، دوباره به فکر قبلی فکر میکند، و در نهایت با اطمینان یک بله بلند میکند. از آنجا که درخواست سیستم من یک منبع میطلبد، بهدقت لینکهای به وبسایت یونیکد و Emojipedia ساخت— از جمله یک URL کاملاً ساختگی، emojipedia.com/seahorse، که بهطبعی 404 برمیگردد.
یادآوری خوبی است که وقتی میگویم «منابع را اضافه کنید»، مدل برای اظهارات خود از منابع استفاده نمیکند؛ فقط بیان میکند و سپس منابعی پیرامون آنها میسازد. درخشان.
اما چرا هوش مصنوعی نسبت به یک ایموجی دچار اضطراب میشود؟
چون بر روی اضطراب ما نسبت به آن آموزش دیده است
حقیقت این است: هیچ ایموجی اسبدریایی وجود ندارد. هیچ «چه شد برای آن» نیست، چون چیزی رخ نداده. هرگز ایموجی اسبدریایی وجود نداشته است. ببخشید.
اما یک ایموجی اسبدریایی وجود دارد — نه روی کیبورد شما، بلکه در ذهن مردم. دهها رشته ردیت مملو از افرادی هستند که معتقدند آن را به خاطر دارند. صادقانه بگویم، اگر به این موضوع نگاه نمیکردم و کسی پرسید آیا ایموجی اسبدریایی وجود دارد، احتمالاً من نیز بله میگفتم. مردم برای دفاع از این حافظه به طولهای غیرمعمولی رسیدهاند. در یک رشته، یک کاربر دقیقاً مکان کیبورد را مشخص کرد، گفت که به سمت چپ است و رنگهای آن را توصیف کرد.
علیرغم همه اینها، ایموجی هرگز وجود نداشته است. این همان اثر مندلا است؛ یک حافظهٔ غلط مشترک. این اصطلاح از محققی به نام فیونا بام گرفته شد که بهوضوح به یاد میآورد ندلما در دههٔ ۸۰ میلادی در زندان میمرد — فقط برای اینکه متوجه شد ندلما رئیسجمهور شد و در سال ۲۰۱۳ درگذشت. او حتی پوشش مراسم دفن را به یاد میآورد. وقتی او متوجه شد بسیاری دیگر حافظهٔ غلط مشابهی دارند، اصطلاح «اثر مندلا» به وجود آمد.
نمونههای دیگر: شگی از اسکووبیدو هرگز سیبزمینی آدم بزرگ نداشت که بسیاری ما ادعا میکنیم دیدهایم. جورج کنجکاو هرگز دم نداشت. دوباره معذرت میخواهم.
پس آن چه میشود؟ آیا یک LLM میتواند اثر مندلا را تجربه کند؟ نه دقیقاً. آن اصلاً حافظهای ندارد (با وجود ویژگی حافظهٔ ChatGPT). اما توهم میکند — و این یک نوع توهم است که از دادههای آموزشیاش به وجود میآید.
وقتی میپرسید آیا ایموجی اسبدریایی وجود داشته است، مدل در واقع «جستجو» نمیکند. به توزیع داخلی آموزش خود تکیه میکند — که شامل تمام آن رشتههای ردیت، تمام آن گفتگوها، تمام آن سردرگمی انسانی است. ChatGPT بر اثر اثر مندلا ما آموزش دیده است، بنابراین آن را بازتولید میکند. اگر شما آن را مجبور کنید واقعاً وب را جستجو کند، عملکرد بهتری دارد. و بهمحض این که وبسایتهای بیشتری (از جمله این مقاله، در آینده) وضعیت را روشن کنند، مدلهای آینده بر روی اصلاحات آموزش دیده و توهم از بین خواهد رفت.
اکثریت توهمهای هوش مصنوعی نشان میدهد که این مدلها بهمبنای اساسی غیر انسانی هستند. اما این مورد متفاوت است. در این حالت، مدل به همان خاطرهٔ اشتباه جمعی که انسانها دارند، دچار میشود. او سردرگمی ما را به ارث میبرد، آن را تقویت میکند و با اطمینان تکرار میکند. که بهطرز عجیبی آن را اندکی «انسانیتر» میکند — به بدترین شکل ممکن.