انویدیا Chat with RXT را راه اندازی کرده است، یک ربات چت هوش مصنوعی که روی رایانه شخصی شما کار می کند و ویژگی هایی مشابه ChatGPT و موارد دیگر را ارائه می دهد! تنها چیزی که نیاز دارید یک پردازنده گرافیکی Nvidia RTX است و شما آماده استفاده از چت ربات جدید هوش مصنوعی Nvidia هستید.
خلاصه عناوین
- چت انویدیا با RTX چیست؟
- نحوه دانلود و نصب چت با RTX
- نحوه استفاده از Nvidia Chat با RTX
- آیا چت انویدیا با RTX خوب است؟
- اگر پردازنده گرافیکی سری RTX 30 یا 40 نداشته باشم چه می شود؟
نکات کلیدی
- Nvidia Chat with RTX یک ربات چت هوش مصنوعی است که به صورت محلی روی رایانه شخصی شما اجرا می شود و از TensorRT-LLM و RAG برای پاسخ های سفارشی استفاده می کند.
- Install Chat with RTX حداقل شرایط زیر را دارد: پردازنده گرافیکی RTX، 16 گیگابایت رم، 100 گیگابایت فضای ذخیره سازی، و ویندوز 11.
- از Chat with RTX برای راه‌اندازی فایل‌ها برای RAG، پرسیدن سؤال، تجزیه و تحلیل ویدیوهای YouTube و اطمینان از امنیت داده‌ها استفاده کنید.
انویدیا Chat with RXT را راه اندازی کرده است، یک ربات چت هوش مصنوعی که روی رایانه شخصی شما کار می کند و ویژگی هایی مشابه ChatGPT و موارد دیگر را ارائه می دهد! تنها چیزی که نیاز دارید یک پردازنده گرافیکی Nvidia RTX است و شما آماده استفاده از چت ربات جدید هوش مصنوعی Nvidia هستید.
چت انویدیا با RTX چیست؟
Nvidia Chat with RTX یک نرم افزار هوش مصنوعی است که به شما امکان می دهد یک مدل زبان بزرگ (LLM) را به صورت محلی روی رایانه خود اجرا کنید. بنابراین، به جای آنلاین شدن برای استفاده از ربات چت هوش مصنوعی مانند ChatGPT، می توانید هر زمان که بخواهید از چت با RTX آفلاین استفاده کنید.
چت با RTX از TensorRT-LLM، شتاب RTX و یک Mistral 7-B LLM کوانتیزه شده استفاده می کند تا عملکرد سریع و پاسخ های با کیفیت را همتراز با دیگر چت ربات های هوش مصنوعی آنلاین ارائه دهد. همچنین تولید افزوده بازیابی (RAG) را ارائه می‌کند که به ربات چت اجازه می‌دهد فایل‌های شما را بخواند و پاسخ‌های سفارشی‌شده را بر اساس داده‌هایی که ارائه می‌دهید فعال کند. این به شما امکان می دهد ربات چت را سفارشی کنید تا تجربه شخصی تری را ارائه دهید.
اگر می‌خواهید چت انویدیا را با RTX امتحان کنید، در اینجا نحوه دانلود، نصب و پیکربندی آن بر روی رایانه خود آورده شده است.
نحوه دانلود و نصب چت با RTX
انویدیا اجرای LLM را به صورت محلی بر روی کامپیوتر شما بسیار آسان کرده است. برای اجرای Chat با RTX، فقط باید برنامه را دانلود و نصب کنید، درست مانند هر نرم افزار دیگری. با این حال، Chat with RTX دارای حداقل مشخصات لازم برای نصب و استفاده صحیح است.
- پردازنده گرافیکی RTX سری 30 یا سری 40
- رم 16 گیگابایت
- 100 گیگابایت فضای حافظه رایگان
- ویندوز 11
اگر رایانه شما حداقل سیستم مورد نیاز را برآورده کرد، می توانید ادامه دهید و برنامه را نصب کنید.
- مرحله 1: دانلود چت با فایل ZIP RTX. دانلود: چت با RTX (رایگان — دانلود 35 گیگابایت)
- مرحله 2: فایل ZIP را با کلیک راست و انتخاب ابزار آرشیو فایل مانند 7Zip یا دوبار کلیک کردن روی فایل و انتخاب Extract All استخراج کنید.
- مرحله 3: پوشه استخراج شده را باز کنید و روی setup.exe دوبار کلیک کنید. دستورالعمل های روی صفحه را دنبال کنید و تمام کادرها را در طول فرآیند نصب سفارشی علامت بزنید. پس از زدن Next، نصب کننده LLM و تمام وابستگی ها را دانلود و نصب می کند.
- دانلود: چت با RTX (دانلود رایگان-35 گیگابایت)
نصب Chat with RTX مدتی طول می کشد تا به پایان برسد زیرا حجم زیادی از داده را دانلود و نصب می کند. پس از اتمام مراحل نصب، Close را بزنید و کارتان تمام شد. اکنون زمان آن رسیده است که برنامه را امتحان کنید.
نحوه استفاده از Nvidia Chat با RTX
اگرچه می‌توانید از چت با RTX مانند یک چت ربات آنلاین معمولی هوش مصنوعی استفاده کنید، من قویاً پیشنهاد می‌کنم عملکرد RAG آن را بررسی کنید، که به شما امکان می‌دهد خروجی آن را بر اساس فایل‌هایی که به آنها دسترسی دارید سفارشی کنید.
مرحله 1: پوشه RAG ایجاد کنید
برای شروع استفاده از RAG در چت با RTX، یک پوشه جدید برای ذخیره فایل‌هایی که می‌خواهید هوش مصنوعی تجزیه و تحلیل کند ایجاد کنید.
پس از ایجاد، فایل های داده خود را در پوشه قرار دهید. داده‌هایی که ذخیره می‌کنید می‌توانند موضوعات و انواع فایل‌های زیادی مانند اسناد، فایل‌های PDF، متن و ویدیوها را پوشش دهند. با این حال، ممکن است بخواهید تعداد فایل‌هایی را که در این پوشه قرار می‌دهید محدود کنید تا بر عملکرد تأثیری نگذارد. جستجوی داده‌های بیشتر به این معناست که چت با RTX برای بازگرداندن پاسخ‌ها برای پرس و جوهای خاص زمان بیشتری می‌برد (اما این نیز به سخت‌افزار وابسته است).
اکنون پایگاه داده شما آماده است، می توانید Chat را با RTX راه اندازی کنید و شروع به استفاده از آن برای پاسخ به سؤالات و سؤالات خود کنید.
مرحله 2: تنظیم محیط
چت را با RTX باز کنید. باید شبیه تصویر زیر باشد.
در قسمت Dataset، مطمئن شوید که گزینه Folder Path انتخاب شده است. اکنون بر روی آیکون ویرایش زیر (آیکون قلم) کلیک کنید و پوشه حاوی تمام فایل‌هایی را که می‌خواهید Chat with RTX بخواند، انتخاب کنید. همچنین در صورت وجود گزینه های دیگر، می توانید مدل هوش مصنوعی را تغییر دهید (در زمان نگارش مقاله، فقط Mistral 7B موجود است).
اکنون آماده استفاده از چت با RTX هستید.
مرحله 3: سوالات خود را از چت با RTX بپرسید!
راه های مختلفی برای پرس و جوی چت با RTX وجود دارد. اولین مورد استفاده از آن مانند یک چت ربات معمولی هوش مصنوعی است. من از چت با RTX در مورد مزایای استفاده از LLM محلی پرسیدم و از پاسخ آن راضی بودم. خیلی عمیق نبود، اما به اندازه کافی دقیق بود.
اما از آنجایی که چت با RTX قابلیت RAG را دارد، می توانید از آن به عنوان دستیار هوش مصنوعی شخصی نیز استفاده کنید.
در بالا، من از چت با RTX برای پرسیدن در مورد برنامه‌ام استفاده کرده‌ام. داده ها از یک فایل PDF حاوی برنامه، تقویم، رویدادها، کار و غیره من به دست آمد. در این مورد، چت با RTX داده های تقویم صحیح را از داده ها بیرون کشیده است. شما باید فایل های داده و تاریخ های تقویم خود را به روز نگه دارید تا ویژگی هایی مانند این به درستی کار کنند تا زمانی که با سایر برنامه ها ادغام شوند.
راه های زیادی وجود دارد که می توانید از چت با RAG RTX به نفع خود استفاده کنید. به عنوان مثال، می‌توانید از آن برای خواندن مقالات قانونی و ارائه خلاصه، ایجاد کدهای مرتبط با برنامه‌ای که در حال توسعه آن هستید، دریافت نکات برجسته در مورد ویدیویی که برای تماشای آن بیش از حد مشغول هستید، و موارد دیگر استفاده کنید!
مرحله 4: ویژگی پاداش
علاوه بر پوشه داده های محلی خود، می توانید از Chat with RTX برای تجزیه و تحلیل ویدیوهای YouTube استفاده کنید. برای انجام این کار، در زیر مجموعه داده، مسیر پوشه را به URL YouTube تغییر دهید.
URL YouTube را که می خواهید تجزیه و تحلیل کنید کپی کنید و آن را در زیر منوی کشویی جایگذاری کنید. سپس بپرسید!
چت با تجزیه و تحلیل ویدیوی YouTube RTX بسیار خوب بود و اطلاعات دقیقی را ارائه می داد، بنابراین می تواند برای تحقیق، تجزیه و تحلیل سریع و موارد دیگر مفید باشد.
آیا چت انویدیا با RTX خوب است؟
ChatGPT عملکرد RAG را ارائه می دهد. برخی از ربات‌های چت هوش مصنوعی محلی به میزان قابل توجهی نیازمندی‌های سیستمی پایین‌تری دارند. بنابراین، آیا چت انویدیا با RTX ارزش استفاده دارد؟
پاسخ مثبت است! چت با RTX با وجود رقابت ارزش استفاده دارد.
یکی از بزرگترین نقاط فروش استفاده از Nvidia Chat با RTX، توانایی آن در استفاده از RAG بدون ارسال فایل‌های شما به سرور شخص ثالث است. سفارشی کردن GPT ها از طریق خدمات آنلاین می تواند داده های شما را در معرض دید قرار دهد. اما از آنجایی که Chat with RTX به صورت محلی و بدون اتصال به اینترنت اجرا می‌شود، استفاده از RAG در Chat with RTX تضمین می‌کند که داده‌های حساس شما ایمن هستند و فقط در رایانه شخصی شما قابل دسترسی هستند.
همانند سایر ربات‌های چت هوش مصنوعی محلی که Mistral 7B را اجرا می‌کنند، چت با RTX بهتر و سریع‌تر عمل می‌کند. اگرچه بخش بزرگی از افزایش عملکرد ناشی از استفاده از پردازنده‌های گرافیکی پیشرفته است، اما استفاده از Nvidia TensorRT-LLM و شتاب RTX باعث شد اجرای Mistral 7B در چت با RTX سریع‌تر در مقایسه با سایر روش‌های اجرای یک LLM بهینه‌شده برای چت انجام شود.
شایان ذکر است که نسخه Chat with RTX که ما در حال حاضر از آن استفاده می کنیم یک نسخه آزمایشی است. نسخه‌های بعدی Chat with RTX احتمالاً بهینه‌تر شده و عملکرد را افزایش می‌دهد.
اگر پردازنده گرافیکی سری RTX 30 یا 40 نداشته باشم چه می شود؟
چت با RTX یک راه آسان، سریع و ایمن برای اجرای LLM به صورت محلی بدون نیاز به اتصال به اینترنت است. اگر شما نیز علاقه مند به اجرای LLM یا محلی هستید اما پردازنده گرافیکی سری RTX 30 یا 40 ندارید، می توانید راه های دیگری را برای اجرای LLM به صورت محلی امتحان کنید. دو مورد از محبوب ترین آنها GPT4ALL و Text Gen WebUI هستند. اگر می خواهید یک تجربه plug-and-play به صورت محلی در حال اجرای LLM داشته باشید، GPT4ALL را امتحان کنید. اما اگر از نظر فنی کمی بیشتر تمایل دارید، اجرای LLM از طریق Text Gen WebUI تنظیمات دقیق و انعطاف پذیری بهتری را ارائه می دهد.