من مدتهاست که از Chatbots مبتنی بر ابر استفاده می کنم. از آنجا که مدل های بزرگ زبان برای اجرا به قدرت محاسبات جدی نیاز دارند ، آنها اساساً تنها گزینه بودند. اما با LM Studio و LLMS کمکی ، اکنون می توانم با استفاده از سخت افزاری که قبلاً در اختیار دارم ، مدل های مناسبی را به صورت آفلاین اجرا کنم. آنچه به عنوان کنجکاوی در مورد هوش مصنوعی محلی شروع شد ، به یک جایگزین قدرتمند تبدیل شده است که هیچ هزینه ای ندارد ، بدون اینترنت کار می کند و به من کنترل کاملی بر تعامل هوش مصنوعی من می دهد.
من مدتهاست که از Chatbots مبتنی بر ابر استفاده می کنم. از آنجا که مدل های بزرگ زبان برای اجرا به قدرت محاسبات جدی نیاز دارند ، آنها اساساً تنها گزینه بودند. اما با LM Studio و LLMS کمکی ، اکنون می توانم با استفاده از سخت افزاری که قبلاً در اختیار دارم ، مدل های مناسبی را به صورت آفلاین اجرا کنم. آنچه به عنوان کنجکاوی در مورد هوش مصنوعی محلی شروع شد ، به یک جایگزین قدرتمند تبدیل شده است که هیچ هزینه ای ندارد ، بدون اینترنت کار می کند و به من کنترل کاملی بر تعامل هوش مصنوعی من می دهد.
این تغییر پس از تجربه دست اول تجربه شد که چه اتفاقی می افتد وقتی که به طور تصادفی اطلاعات حساس را با ابر AI به اشتراک می گذارید. من به پایان رسیدم که پین خود را با چتگپ به اشتراک بگذارم در طول مکالمه گاه به گاه. آن لحظه بی دقتی باعث شد که متوجه شوم که من با یک دفترچه یادداشت دیجیتال با Cloud AI رفتار می کنم ، و پیامدهای امنیتی را در نظر نمی گیرم. LM Studio با آوردن قابلیت های LLM AI به طور مستقیم به دسک تاپ شما ، از بین بردن خطرات حریم خصوصی و هزینه های مکرر ، این مشکلات اساسی را برطرف می کند.
استودیوی LM پیچیدگی محلی AI را ثابت کرد
اجرای LLMS محلی اکنون آسانتر از همیشه است!
قبل از کشف استودیوی LM ، ساعتهای بی شماری را با ابزارهای منبع باز تازه ساخته شده بود. من خودم را در مخازن GitHub ، خواندن اسناد فنی طولانی ، پیکربندی محیط های پایتون که به نظر می رسد با هر بروزرسانی شکسته می شود ، پیدا می کنم و شکار مدل های مناسب در صفحه Oobabooga را در بغل کردن چهره. درست هنگامی که من می توانم یک مجموعه کار را بدست آورم ، ابزارهای اساسی کاهش می یابند یا تغییرات اساسی را تحت تأثیر قرار می دهند و از من خواسته می شود که دوباره کل مراحل را شروع کنم.
LM Studio با بسته بندی همه چیز در یک برنامه دسک تاپ جلا که باعث می شود بارگیری و اجرای مدل های بزرگ زبان به آسانی نصب هر نرم افزار دیگر ، این تجربه را کاملاً تغییر داد. برای اجرای AI آفلاین ، به دو چیز نیاز دارید: یک مدل AI کمی و یک ابزار رابط مانند LM Studio. مدل های کمکی نسخه های فشرده شده از مدل های کامل هوش مصنوعی هستند که ضمن استفاده از منابع رایانه ای به طرز چشمگیری ، بیشتر توانایی های خود را حفظ می کنند. به جای نیاز به سخت افزار گران قیمت سرور ، می توانید مدل های پیشرفته AI را روی یک لپ تاپ معمولی با یک پردازنده مناسب و 16 گیگابایت رم اجرا کنید. با استفاده از استودیو LM ، حتی می توان یک چت بابات AI را روی سخت افزار قدیمی اجرا کرد!
یکی از مدلهای مورد علاقه من برای استفاده با استودیوی LM Dolphin3 است. Dolphin3 بر خلاف مدل های اصلی AI که دارای فیلتر گسترده ای هستند ، Dolphin3 به گونه ای طراحی شده است که بدون محدودیت های دلخواه واقعاً مفید باشد. این پاسخ به درخواست ها پاسخ می دهد که مدل های دیگر ممکن است امتناع کنند و بدون سخنرانی در مورد سوء استفاده احتمالی ، پاسخ های ساده ای را ارائه می دهند. برای تحقیقات مشروع ، کار حقوقی یا مکالمات عمیق و مشاوره ، این مدل هوش مصنوعی بدون سانسور به سرعت به یکی از موارد مورد علاقه من تبدیل شده است.
گرفتن Dolphin3 در چند دقیقه
راهنمای راه اندازی سریع و آسان
راه اندازی دستیار AI آفلاین خود به تخصص فنی کمی شگفت آور نیاز دارد. کل فرآیند شاید 20 دقیقه طول بکشد ، که بیشتر آنها فقط منتظر بارگیری هستند.
ابتدا استودیوی LM را از وب سایت رسمی خود بارگیری کرده و مانند هر برنامه عادی آن را نصب کنید. این نرم افزار با Windows ، Mac و Linux سازگار است و مک های Silicon Apple در این نوع کارهای استنتاج هوش مصنوعی به خوبی عملکرد خوبی دارند. پس از نصب ، LM Studio با یک نوار جستجو برای یافتن مدل ها به یک رابط تمیز باز می شود.
“Dolphin3” را جستجو کنید و چندین نسخه موجود را مشاهده خواهید کرد. توصیه می کنم اگر 16 گیگابایت رم یا نسخه 3B کوچکتر برای رایانه هایی با 8 گیگابایت دارید ، از نسخه پارامتر 8B شروع کنید. اندازه بارگیری از 2 گیگابایت تا 6 گیگابایت بسته به نوع نسخه ای که انتخاب می کنید متغیر است. استودیو LM دقیقاً به شما نشان می دهد که هر مدل به چه مقدار حافظه نیاز دارد ، و حدس و گمان را از سازگاری سخت افزار خارج می کند.
پس از بارگیری کامل ، به رابط چت در بالا سمت راست نوار کناری بروید ، سپس بر روی دکمه Select A Model برای بارگیری در مرکز بالای پنجره کلیک کنید. مدل های بارگیری شده شما به عنوان کشویی نشان داده می شوند. Dolphin3 را برای شروع بارگیری مدل انتخاب کنید. روند بارگیری حدود سی ثانیه طول می کشد ، سپس شما آماده شروع به گپ زدن هستید. رابط کاربری برای هر کسی که از چتپ استفاده کرده است ، با یک جعبه پیام در پایین و تاریخ مکالمه در بالا احساس می کند.
در اینجا ، من یک سؤال از Dolphin3 پرسیدم ، و عملکرد خوب بود. مانند Chatgpt یا Claude بسیار سریع نیست ، اما بسیار قابل قبول است. همانطور که مشاهده می کنید ، می توانست در حدود 11 ثانیه برای پاسخ تقریباً 320 کلمه (453-token) پاسخ دهد ، و این مکالمه را بدون تاخیر قابل توجه ادامه می دهد. همه چیز به صورت محلی اتفاق می افتد ، بنابراین زمان پاسخ شما بدون در نظر گرفتن اتصال اینترنت شما سازگار است.
پس از اتمام مکالمه خود ، می توانید روی دکمه Eject کلیک کنید تا Dolphin3 را از حافظه کاملاً بیرون بکشید. این فوراً تمام آثار مکالمه شما را پاک می کند و منابع سیستم شما را آزاد می کند. بر خلاف سرویس های ابری که ممکن است تاریخ چت شما را به طور نامحدود حفظ کند ، بیرون کشیدن مدل به شما امکان کنترل کامل بر زمان حذف مکالمات شما را می دهد.
چرا من عاشق استفاده از Dolphin3 هستم
سریع ، خصوصی و به طرز شگفت آور توانا
بله ، این یک گزینه جایگزین عالی برای استدلال سنگین یا آخرین بینش های مرتبط با وب نخواهد بود ، اما از راه های دیگر آن را تشکیل می دهد. مکالمات حساس به حریم خصوصی این لیست ، جایی که می توانم عمیق ترین افکار و نگرانی های خود را بدون نگرانی در مورد سیاست های حفظ داده ها یا نظارت شرکت ها به اشتراک بگذارم. این شامل بازتاب های شخصی ، مسائل مربوط به روابط یا موقعیت های حساس در محل کار است که من هرگز به خدمات ابری اعتماد نخواهم کرد.
چندین LLM آفلاین دیگر وجود دارد که می توانید همین حالا امتحان کنید ، اما من به دلیل رویکرد آن به اعتدال محتوا ، هنوز به Dolphin3 می چسبم. بودن یک مدل بدون سانسور به معنای نادیده گرفتن اخلاق یا زمینه نیست. از آنجا که بر روی لاما ساخته شده است ، که در مجموعه داده های بزرگ و متنوع آموزش داده شده است ، هنوز هم نشان دهنده درک کاملی از درست و نادرست است. “بدون سانسور” به سادگی به این معنی است که می تواند مباحثی را که ممکن است مدل های دیگر از آن جلوگیری کنند ، مانند سیاست بحث برانگیز یا وقایع تاریخی حساس. Dolphin3 برخلاف بسیاری از دستیاران هوش مصنوعی که احساس می کنند دائماً در حال پلیس هستند ، پاسخ های صادقانه و ساده را بدون محدودیت های غیر ضروری ارائه می دهند. نتیجه مکالمه ای است که احساس می کند به جای تعامل با یک چت بابات با شرکتی ، با یک دوست آگاه صحبت می کند. شما می توانید به موضوعات پیچیده شیرجه بزنید و بدون ایجاد سخنرانی های ایمنی ، سوالات ناراحت کننده ای بپرسید.
من همچنین عاشق قابلیت های پارچه ای هستم که LM Studio با Dolphin3 ارائه می دهد. این امکان را به من می دهد تا قراردادها ، اسناد حقوقی و سیاست های حفظ حریم خصوصی را که حاوی اطلاعات حساس است ، تجزیه و تحلیل کنم. این اسناد اغلب شامل شرایط محرمانه ، بندهای اختصاصی یا داده های شخصی هستند که نباید با خدمات ابری به اشتراک گذاشته شوند. داشتن یک دستیار هوش مصنوعی که می تواند زبان حقوقی پیچیده ای را در حالی که نگه داشتن همه چیز محلی را تجزیه می کند ، ارزش عظیمی را برای آزادکاران و صاحبان مشاغل کوچک مانند من برای اداره مستندات حساس فراهم می کند.
کمک به برنامه نویسی مختصر نیز به خوبی کار می کند ، به ویژه برای کمک به اشکال زدایی سریع یا توضیح الگوهای کد ناآشنا. در حالی که من برای پروژه های توسعه پیچیده به هوش مصنوعی محلی اعتماد نمی کنم ، اما در سؤالات فنی متمرکز بدون افشای کد اختصاصی در سرورهای خارجی ، برتری دارد.
سرانجام ، موقعیت های مسافرتی یک مزیت مهم دیگر از AI آفلاین را نشان می دهد. در طول سفرهای طولانی ، جلسات کاری از راه دور یا مناطقی با اتصال ضعیف ، داشتن یک دستیار هوش مصنوعی کاملاً کاربردی بسیار ارزشمند است. من از Dolphin3 برای تهیه ایمیل ، تجزیه و تحلیل داده ها و حل مشکلات در حالی که کاملاً آفلاین است ، استفاده کرده ام ، چیزی با گزینه های مبتنی بر ابر غیرممکن است.
من هنوز از AI مبتنی بر ابر استفاده می کنم
من نمی توانم هوش مصنوعی مبتنی بر ابر را کاملاً رها کنم و صادقانه ، این هدف نبود. واقعیت این است که ، برای اجرای مدل های واقعاً قدرتمند ، تنها گزینه منطقی استفاده از هوش مصنوعی مبتنی بر ابر است. من شخصاً عاشق استفاده از دلهره برای تحقیق و کارهای مرتبط با وب هستم که در آن به اطلاعات فعلی و پایگاه های دانش گسترده تر نیاز دارم. این خدمات در کارهایی که به منابع محاسباتی گسترده ، داده های در زمان واقعی یا آخرین آموزش نیاز دارند ، برتری دارند.
آنچه مهم است پیدا کردن تعادل مناسب بین هوش مصنوعی مبتنی بر ابر و AI آفلاین برای اطمینان از حداکثر حفظ حریم خصوصی ، امنیت و اعتماد کمتر به زیرساخت ها است. من وقتی به قابلیت های برش ، ادغام جستجوی وب نیاز دارم یا اطلاعات حساس را درگیر نمی کنم ، از خدمات ابری استفاده می کنم. برای هر چیز دیگری ، به ویژه مکالمات مربوط به داده های شخصی ، اطلاعات اختصاصی یا موقعیت هایی که در دسترس هستم در دسترس بودن تضمین شده ، تنظیم محلی من به دست می گیرد.