شما باید قطعا قبل از استفاده از یک ربات چت هوش مصنوعی برای ارائه خلاصه‌ای سریع از اخبار، دو بار فکر کنید. یک گزارش جدید از بی‌بی‌سی نشان می‌دهد که ربات‌های محبوب چت دارای نقص‌های عمده‌ای در نتایج خلاصه هستند.
باید حتماً پیش از استفاده از یک چت‌بات هوش مصنوعی برای ارائه خلاصه‌ای سریع از اخبار، دو بار فکر کنید. یک گزارش جدید از بی‌بی‌سی نشان می‌دهد که چت‌بات‌های محبوب دارای نقص‌های عمده‌ای در نتایج خلاصه‌سازی هستند.
Google Gemini Had the Highest Percentage of Problematic Summaries
این آزمون شامل ChatGPT، Google Gemini، Microsoft Copilot و Perplexity AI بود. برای شروع، بی‌بی‌سی از هر چت‌بات ۱۰۰ سؤال در مورد اخبار پرسید و از آن‌ها خواست تا تا حد امکان از منابع BBC News استفاده کنند.
متخصصان بی‌بی‌سی سپس کیفیت این خلاصه‌ها را ارزیابی کردند. از بین خلاصه‌ها، ۵۱ درصد حاوی نوعی خطا بودند، چه عدم دقت واقعی، نقل‌قول نادرست یا اطلاعات قدیمی.
از این میان، ۱۹ درصد شامل نوعی اشتباه واقعی مانند تاریخ نادرست بودند. و ۱۳ درصد از نقل‌قول‌های نسبت داده‌شده به بی‌بی‌سی در خلاصه‌ها یا از شکل اصلی خود تغییر یافته بودند یا اصلاً در مقالات ارائه‌شده به چت‌بات‌ها وجود نداشتند.
زمانی که بر اساس چت‌بات‌ها تجزیه شد، Gemini گوگل بدترین عملکرد را داشته بود؛ بیش از ۶۰ درصد خلاصه‌ها حاوی اطلاعات مشکل‌دار بودند. Microsoft Copilot در رتبه دوم با ۵۰ درصد قرار گرفت، در حالی که ChatGPT و Perplexity حدود ۴۰ درصد پاسخ‌های مشکل‌دار داشتند.
در نتیجه‌گیری این مطالعه، بی‌بی‌سی گفت که بسیاری از مشکلات فراتر از صرف اطلاعات نادرست هستند:
این تحقیق همچنین نشان می‌دهد دامنه خطاهایی که دستیارهای هوش مصنوعی وارد می‌کنند، فراتر از عدم دقت واقعی است. دستیارهای هوش مصنوعی که آزمایش کردیم در تمایز بین نظر و واقعیت مشکل داشتند، نظرات شخصی را وارد کردند و اغلب نتوانستند زمینهٔ اساسی را بگنجانند. حتی زمانی که هر جمله در پاسخ دقیق باشد، این نوع مشکلات می‌توانند منجر به پاسخ‌های گمراه‌کننده یا جانبدارانه شوند.
من هرگز سعی نکرده‌ام از یک چت‌بات هوش مصنوعی برای خلاصه‌سازی اخبار استفاده کنم، چون به سادگی به قابلیت اطمینان این فناوری اعتماد ندارم. اما نتایج مطالعه همچنان بسیار شگفت‌انگیز است، به‌ویژه تعداد بالای نتایج دارای مشکلات. هوش مصنوعی هنوز مسیر طولانی‌ای در پیش دارد تا به روشی معتبر برای کسب اطلاعات بیشتر دربارهٔ اخبار تبدیل شود.
AI Features Are Still a Work In Progress
فناوری هوش مصنوعی، به‌ویژه چت‌بات‌ها، به سرعت در حال پیشرفت هستند. اما همان‌طور که مطالعه بی‌بی‌سی نشان می‌دهد، انتظار دریافت اطلاعات صحیح دربارهٔ اخبار یک حوزهٔ بسیار مشکل‌ساز است.
بی‌بی‌سی به‌صراحت نسبت به ویژگی دیگری که با هوش مصنوعی کار می‌کند، شکایت کرده است: خلاصه‌های اعلان‌های Apple Intelligence. در دسامبر ۲۰۲۴، یک خلاصه اعلان از این سرویس به‌نادرستی اعلام کرد که لویی مانجیون خود را شلیک کرده است. او به‌عنوان شلیک‌کنندهٔ ادعایی مدیر عامل خدمات بهداشتی، برایان تامپسون شناخته شده است.
در پاسخ به بی‌بی‌سی و سایر شکایات، Apple موقتاً خلاصه‌ها را برای برنامه‌های خبری و سرگرمی از iOS 18.3 به‌بعد غیرفعال کرد.
بنابراین وقتی می‌خواهید از اخبار مطلع شوید، ساده بمانید: خلاصهٔ هوش مصنوعی را نادیده بگیرید و خودتان مطلب را بخوانید.