به دنبال LLM هایی هستید که بتوانید به صورت محلی روی رایانه خود اجرا کنید؟ ما شما را تحت پوشش قرار داده ایم!
کاربران معمولاً از طریق استفاده از رابط کاربری از طریق یک API به مدل‌های زبان بزرگ (LLM) دسترسی پیدا می‌کنند. اگرچه مزایای متعددی را ارائه می‌کند، اما استفاده از API محدودیت‌هایی مانند نیاز به اتصال دائمی به اینترنت، سفارشی‌سازی‌های محدود، مسائل امنیتی احتمالی، و شرکت‌هایی که قابلیت‌های مدل را از طریق دیوار پرداختی محدود می‌کنند، نیز ایجاد می‌کند.
با LLMهای کوانتیزه‌شده اکنون در HuggingFace و اکوسیستم‌های هوش مصنوعی مانند H20، Text Gen و GPT4All که به شما امکان بارگیری وزن‌های LLM را بر روی رایانه‌تان می‌دهند، اکنون گزینه‌ای برای هوش مصنوعی رایگان، انعطاف‌پذیر و ایمن دارید.
برای شروع، در اینجا هفت مورد از بهترین LLM های محلی/آفلاین وجود دارد که می توانید در حال حاضر استفاده کنید!
1. هرمس GPTQ
یک مدل زبان پیشرفته که با استفاده از مجموعه داده های 300000 دستورالعمل توسط Nous Research تنظیم شده است. هرمس مبتنی بر LlaMA2 LLM متا است و با استفاده از خروجی‌های GPT-4 عمدتاً مصنوعی تنظیم شده است.
مدل
هرمس 13b GPTQ
سایز مدل
7.26 گیگابایت
مولفه های
13 میلیارد
کوانتیزاسیون
4 بیتی
تایپ کنید
LlaMA2
مجوز
GPL 3
استفاده از LlaMA2 به عنوان مدل پایه به هرمس اجازه می دهد تا اندازه زمینه یا حداکثر اندازه توکن 4096 را دو برابر کند. هرمس با جفت کردن اندازه زمینه طولانی و معماری رمزگذار، پاسخ های طولانی و نرخ توهم پایین را ارائه می دهد. این امر هرمس را به یک مدل عالی برای کارهای مختلف پردازش زبان طبیعی (NLP) مانند نوشتن کد، ایجاد محتوا و ربات گفتگو تبدیل می‌کند.
چندین کوانتیزاسیون و نسخه از GPTQ جدید هرمس وجود دارد. ما به شما توصیه می کنیم ابتدا مدل Hermes-Llama2 13B-GPTQ را امتحان کنید، زیرا آسان ترین نسخه برای استقرار است در حالی که هنوز عملکرد عالی دارد.
2. Falcon Instruct GPTQ
این نسخه کوانتیزه شده فالکون مبتنی بر معماری فقط رمزگشا است که بر روی مدل خام Flacon-7b TII تنظیم شده است. مدل پایه فالکون با استفاده از 1.5 تریلیون توکن برجسته که از طریق اینترنت عمومی تهیه شده بود آموزش داده شد. Falcon Instruct به عنوان یک مدل فقط رمزگشای مبتنی بر دستورالعمل که تحت مجوز Apache 2 است، برای مشاغل کوچکی که به دنبال مدلی برای استفاده برای ترجمه زبان و ورود داده هستند، عالی است.
مدل
Falcon-7B-Instruct
سایز مدل
7.58 گیگابایت
مولفه های
7 میلیارد
کوانتیزاسیون
4 بیتی
تایپ کنید
شاهین
مجوز
آپاچی 2.0
با این حال، این نسخه از فالکون برای تنظیم دقیق ایده آل نیست و فقط برای استنباط است. اگر می‌خواهید Falcon را دقیق تنظیم کنید، باید از مدل خام استفاده کنید، که می‌تواند نیاز به دسترسی به سخت‌افزار آموزشی سطح سازمانی مانند NVIDIA DGX یا AMD Instinct AI Accelerators داشته باشد.
3.GPT4ALL-J Groovy
GPT4All-J Groovy یک مدل فقط رمزگشا است که توسط Nomic AI تنظیم شده و تحت مجوز Apache 2.0 است. GPT4ALL-J Groovy بر اساس مدل اصلی GPT-J است، که در تولید متن از دستورات عالی شناخته شده است. GPT4ALL -J Groovy به‌عنوان یک مدل چت به‌خوبی تنظیم شده است، که برای برنامه‌های تولید متن سریع و خلاقانه عالی است. این امر GPT4All-J Groovy را برای سازندگان محتوا در کمک به آنها در نوشتن و کارهای خلاقانه، چه شعر، موسیقی یا داستان، ایده آل می کند.
مدل
GPT4ALL-J Groovy
سایز مدل
3.53 گیگابایت
مولفه های
7 میلیارد
کوانتیزاسیون
4 بیتی
تایپ کنید
GPT-J
مجوز
آپاچی 2.0
متأسفانه، مدل پایه GPT-J بر روی یک مجموعه داده فقط انگلیسی آموزش داده شده است، به این معنی که حتی این مدل GPT4ALL-J دقیق تنظیم شده فقط می تواند چت کند و برنامه های تولید متن را به زبان انگلیسی انجام دهد.
4.WizardCoder-15B-GPTQ
به دنبال مدلی هستید که به طور خاص برای کدنویسی تنظیم شده باشد؟ WizardCoder علیرغم اندازه بسیار کوچکتر، یکی از بهترین مدل های کدنویسی است که از مدل های دیگر مانند LlaMA-65B، InstructCodeT5+ و CodeGeeX پیشی گرفته است. این مدل با استفاده از روش Evol-Instruct ویژه کدنویسی آموزش داده شده است، که به طور خودکار درخواست های شما را ویرایش می کند تا یک پیام موثرتر مرتبط با کدنویسی باشد که مدل بتواند بهتر آن را درک کند.
مدل
WizardCoder-15B-GPTQ
سایز مدل
7.58 گیگابایت
مولفه های
15 میلیارد
کوانتیزاسیون
4 بیتی
تایپ کنید
LlaMA
مجوز
bigcode-openrail-m
WizardCoder که به یک مدل 4 بیتی تبدیل شده است، اکنون می تواند در رایانه های شخصی معمولی استفاده شود، جایی که افراد می توانند از آن برای آزمایش و به عنوان دستیار برنامه نویسی برای برنامه ها و اسکریپت های ساده تر استفاده کنند.
5. Wizard Vicuna Uncensored-GPTQ
Wizard-Vicuna GPTQ یک نسخه کوانتیزه شده از Wizard Vicuna بر اساس مدل LlaMA است. برخلاف اکثر LLM هایی که برای عموم منتشر می شوند، Wizard-Vicuna یک مدل بدون سانسور است که تراز آن حذف شده است. این بدان معناست که این مدل استانداردهای ایمنی و اخلاقی مشابه اکثر مدل‌ها را ندارد.
مدل
Wizard-Vicuna-30B-Uncensored-GPTQ
سایز مدل
16.94 گیگابایت
مولفه های
30 میلیارد
کوانتیزاسیون
4 بیتی
تایپ کنید
LlaMA
مجوز
GPL 3
اگرچه احتمالاً یک مشکل کنترل تراز هوش مصنوعی را ایجاد می کند، داشتن یک LLM بدون سانسور همچنین بهترین مدل را با اجازه دادن به پاسخ بدون هیچ محدودیتی نشان می دهد. این همچنین به کاربران اجازه می دهد تا ترازهای سفارشی خود را در مورد نحوه عملکرد یا پاسخ هوش مصنوعی بر اساس یک دستور داده شده اضافه کنند.
6. Orca Mini-GPTQ
آیا به دنبال آزمایش با یک مدل آموزش دیده بر روی یک روش یادگیری منحصر به فرد هستید؟ Orca Mini یک مدل غیررسمی پیاده سازی مقالات تحقیقاتی Orca مایکروسافت است. این با استفاده از روش یادگیری معلم-دانش آموز آموزش داده شد، که در آن مجموعه داده به جای فقط درخواست ها و پاسخ ها، پر از توضیحات بود. این، در تئوری، باید منجر به دانش‌آموزی باهوش‌تر شود، جایی که مدل می‌تواند مشکل را درک کند نه اینکه فقط به دنبال جفت‌های ورودی و خروجی مانند نحوه عملکرد LLMهای معمولی باشد.
مدل
Orca Mini-GPTQ
سایز مدل
8.11 گیگابایت
مولفه های
3 میلیارد
کوانتیزاسیون
4 بیتی
تایپ کنید
LlaMA
مجوز
MIT
با تنها سه میلیارد پارامتر، Orca Mini GPTQ حتی بر روی سیستم‌های کم‌قدرت‌تر به راحتی قابل اجرا است. با این حال، این مدل نباید برای هیچ چیز حرفه ای استفاده شود زیرا اطلاعات نادرست، مغرضانه و پاسخ های توهین آمیز ایجاد می کند. این مدل باید برای یادگیری و آزمایش با Orca و روش های آن مورد استفاده قرار گیرد.
7. LlaMA 2 چت GPTQ
LlaMA 2 جانشین LlaMA LLM اصلی است که اکثر مدل‌های موجود در این لیست را تولید کرده است. LlaMA 2 مجموعه ای از چندین LLM است که هر کدام با استفاده از 7-70 میلیارد پارامتر آموزش دیده اند. به طور کلی، LlaMA 2 با استفاده از 2 تریلیون نشانه داده گرفته شده از مجموعه داده های دستورالعمل در دسترس عموم، از قبل آموزش داده شد.
مدل
Falcon-40B-Instruct-GPTQ
سایز مدل
7.26 گیگابایت
مولفه های
3 میلیارد
کوانتیزاسیون
4 بیتی
تایپ کنید
OpenLlaMA
مجوز
EULA (مجوز متا)
LlaMA 2 برای استفاده تجاری و تحقیقاتی در نظر گرفته شده است. به این ترتیب، این مدل پس از تنظیم دقیق برای عملکرد بهتر در کارهای خاص بهترین استفاده را دارد. این مدل خاص GPTQ چت LlaMA 2 برای گفتگوی انگلیسی به خوبی تنظیم و بهینه شده است، و آن را به مدلی عالی برای شرکت ها و سازمان ها به عنوان یک ربات چت بدون نیاز به آموزش اضافی تبدیل کرده است. طبق شرایط، شرکت هایی که کمتر از 700 میلیون کاربر دارند می توانند از LlaMA 2 بدون پرداخت هزینه مجوز از متا یا مایکروسافت استفاده کنند.
امروز مدل های زبان بزرگ محلی را امتحان کنید
برخی از مدل های ذکر شده در بالا دارای چندین نسخه از نظر پارامتر هستند. به طور کلی، نسخه‌های با پارامتر بالاتر نتایج بهتری دارند اما به سخت‌افزار قدرتمندتری نیاز دارند، در حالی که نسخه‌های با پارامتر پایین‌تر نتایج با کیفیت پایین‌تری تولید می‌کنند اما می‌توانند روی سخت‌افزارهای پایین‌تر اجرا شوند. اگر مطمئن نیستید که رایانه شما می‌تواند مدل را اجرا کند، ابتدا به سراغ نسخه با پارامتر پایین‌تر بروید، سپس تا زمانی که احساس کنید کاهش عملکرد دیگر قابل قبول نیست، ادامه دهید.
از آنجایی که مدل‌های کوانتیزه‌شده در این فهرست تنها چند گیگابایت فضا اشغال می‌کنند و پلتفرم‌های استقرار مدل مانند GPT4All و Text-Generation-WebUI را می‌توان به راحتی از طریق نصب‌کننده‌های آنها با یک کلیک نصب کرد، آزمایش چندین مدل و نسخه‌های مدل نباید زیاد طول بکشد. زمان و تلاش
پس برای چی منتظری؟ امروز یک مدل محلی را امتحان کنید!