اجرای محلی مدل گفتاری PersonaPlex انویدیا؛ تجربه‌ای که فراتر از یک دمو بود

مدل‌های هوش مصنوعی محلی معمولاً برای کاربرانی جذاب‌اند که می‌خواهند داده‌ها و پردازش روی سیستم خودشان بماند. اما تجربه کار با PersonaPlex انویدیا فقط به همین مزیت خلاصه نمی‌شود. نکته شگفت‌انگیز این است که این مدل گفتاری، حتی وقتی مستقل از بحث «محلی بودن» به آن نگاه می‌کنید، واکنش‌هایی سریع و طبیعی دارد و همین باعث می‌شود بیشتر شبیه یک نگاه به آینده گفت‌وگوی صوتی با AI باشد تا صرفاً یک دمو روی لپ‌تاپ.

ایده اصلی ساده به نظر می‌رسد: با یک مدل حرف می‌زنید و همان‌جا پاسخ صوتی می‌شنوید. اما پشت این سادگی، معماری‌ای قرار دارد که با بسیاری از «حالت‌های صوتی» رایج فرق دارد. در بیشتر دستیارهای AI، صدای شما ابتدا به متن تبدیل می‌شود، متن به یک LLM داده می‌شود، پاسخ متنی تولید می‌شود و سپس یک مدل دیگر آن پاسخ را به صدا تبدیل می‌کند. PersonaPlex مسیر مستقیم‌تری را دنبال می‌کند.

PersonaPlex یک مدل گفتاری full‑duplex است

PersonaPlex در ژانویه ۲۰۲۶ به‌عنوان یک مدل گفتاری 7-billion-parameter و full‑duplex منتشر شد. این یعنی با یک مدل متن‌به‌گفتار یا گفتاربه‌متن طرف نیستیم و حتی ترکیبی ساده از چند ابزار جداگانه هم نیست. مدل از ابتدا برای گفت‌وگوی صوتی طراحی شده است؛ چیزی که می‌تواند هم‌زمان صدای کاربر، صدای خودش و جریان پاسخ داخلی را پردازش کند.

در گفت‌وگوی انسانی، ما اول صحبت طرف مقابل را نمی‌نویسیم و بعد درباره آن فکر نمی‌کنیم. مکالمه در همان بستر صوتی شکل می‌گیرد. مدل‌های full‑duplex تلاش می‌کنند به همین الگو نزدیک شوند: گوش می‌دهند، صحبت می‌کنند، مکث و قطع‌کردن را بهتر تحمل می‌کنند و می‌توانند حس گفت‌وگوی زنده‌تری بسازند.

زیرساخت PersonaPlex بر پایه Moshi ساخته شده؛ یک مدل گفتاری full‑duplex متن‌باز از Kyutai. Moshi از کدک عصبی صوتی Mimi استفاده می‌کند تا گفتار را با نرخ 12.5 frames per second به توکن‌های صوتی فشرده کند. سپس یک temporal transformer بزرگ جریان مکالمه را مدل می‌کند و یک depth transformer کوچک‌تر کدهای صوتی داخل هر فریم را مدیریت می‌کند.

کاری که انویدیا انجام داده، تنظیم دقیق این پایه برای نقش‌ها و صداهای کنترل‌پذیر است. شما یک prompt متنی می‌دهید که شخصیت مدل را توصیف می‌کند، سپس یک نمونه صدای کوتاه انتخاب می‌کنید. در دموی آماده، مدل می‌تواند نقش‌هایی مثل معلم، اپراتور پشتیبانی مشتری یا «Alex» فضانورد را بازی کند.

راه‌اندازی آن برخلاف انتظار عادی بود

راه‌اندازی PersonaPlex چند پیش‌نیاز دارد، اما روند کلی آن برای توسعه‌دهنده‌ها آشناست: مخزن GitHub را می‌گیرید، محیط مجازی Python می‌سازید، PyTorch و کتابخانه صوتی Opus را نصب می‌کنید، به وزن‌های مدل در Hugging Face دسترسی می‌گیرید و سپس سرور محلی را اجرا می‌کنید. پس از اجرا، مدل دانلود می‌شود و یک رابط وب محلی در مرورگر در اختیارتان قرار می‌گیرد.

در اجرای اول، برنامه حدود ~9GB وزن مدل را دانلود می‌کند. بعد از آن، مدل warm up می‌شود و نشانی وب محلی را برای شروع کار نشان می‌دهد. کافی است صفحه را باز کنید، صدا و persona را انتخاب کنید و شروع به صحبت کنید. حساب API، هزینه دقیقه‌ای یا اتصال اجباری به سرویس ابری در این مسیر وجود ندارد؛ پس از دانلود وزن‌ها، گفت‌وگو روی سیستم خودتان انجام می‌شود.

یک نکته فنی کوچک هم وجود دارد: مرورگرها معمولاً دسترسی میکروفون را فقط در «secure context» مجاز می‌دانند؛ یعنی صفحه باید از HTTPS استفاده کند. به همین دلیل دستور شروع PersonaPlex برای رابط وب یک گواهی self-signed SSL موقت می‌سازد. مرورگر درباره قابل‌اعتماد نبودن گواهی هشدار می‌دهد، اما اگر به سرور محلی خودتان وصل می‌شوید، می‌توانید ادامه دهید. اگر SSL معتبر از قبل دارید، این مرحله موقت لازم نیست.

در تجربه نویسنده با RTX 3090، پیاده‌سازی استاندارد BF16 حدود 19GB VRAM مصرف کرد و در زمان واقعی بسیار روان اجرا شد. این مقدار حافظه کم نیست، اما در حد دیتاسنتر هم نیست؛ یک کارت کارکرده RTX ۳۰۹۰ می‌تواند مدلی end‑to‑end برای مکالمه صوتی اجرا کند که تا همین چند وقت پیش شبیه دموهای پژوهشی آینده‌نگر به نظر می‌رسید.

اما نکته جذاب‌تر وعده اجرای آن روی کارت‌های 8GB است. مسیر رسمی PyTorch انویدیا همچنان GPU بزرگی می‌خواهد، ولی پروژه‌های جامعه کاربری با quantizationهای 8-bit و 4-bit پشتیبانی از محدوده 8–16GB را اضافه کرده‌اند. نمونه‌هایی مثل یکپارچه‌سازی PersonaPlex ComfyUI و همچنین moshi.cpp نشان می‌دهند اجرای مدل حتی روی RTX 2070 Laptop با 8GB VRAM هم ممکن است. البته این دیگر مسیر مرجع دست‌نخورده انویدیا نیست و کارایی به نوع quantization، backend و میزان کاری که به CPU منتقل می‌شود بستگی دارد.

محدودیت جالب PersonaPlex: حافظه چهار دقیقه‌ای

PersonaPlex در لحظه فوق‌العاده چشمگیر است، اما در مکالمه طولانی کم‌کم ضعف‌هایش را نشان می‌دهد. این ضعف هم صرفاً یک ایراد ساده نیست؛ خودش نکته‌ای آموزنده درباره معماری مدل است.

مدل یک حافظه rolling با ظرفیت 3,000 frames دارد. چون Mimi با نرخ 12.5 frames per second جلو می‌رود، محاسبه آن بسیار سرراست است:

3,000 frames ÷ 12.5 frames per second = 240 seconds

یعنی چهار دقیقه. prompt شخصیت، voice conditioning، صدای ورودی و مکالمه تولیدشده همه از همین پنجره محدود عبور می‌کنند. وقتی پنجره پر می‌شود، فریم‌های جدید جای قدیمی‌ترین فریم‌ها را می‌گیرند. مدل کرش نمی‌کند، اما شروع می‌کند به فراموش‌کردن اینکه گفت‌وگو از کجا آغاز شده بود.

در آزمایش نویسنده، مدل ابتدا نقش «Alex» فضانورد را در سناریوی مریخ بازی می‌کرد. بعد گفت‌وگو به موضوعاتی مثل پول و خودرو کشیده شد. پس از گذشت زمان کافی، Alex شروع کرد به تکرار برخی عبارت‌ها. وقتی از او نامش پرسیده شد، ناگهان گفت: «My name is Kim. I’m actually a very good friend of yours.» شخصیت اولیه از حافظه مدل خارج شده بود و مدل برای خودش هویت تازه‌ای ساخت.

پس از آن، فرسایش مکالمه سریع‌تر شد. عبارت‌های ساده به تکرارهای عجیب تبدیل شدند، مدل مدام می‌پرسید آیا سؤال دیگری وجود دارد، و در نهایت در جمله‌هایی تکراری گیر کرد. هر تکرار وارد بخش جدید context می‌شد و احتمال تکرار بعدی را بیشتر می‌کرد، درحالی‌که بخش‌های مفید مکالمه از سوی دیگر پنجره خارج می‌شدند. سرور فعلی هم ظاهراً repetition penalty مؤثری ندارد تا مدل را از این چرخه بیرون بکشد.

افزایش context از نظر فنی ممکن است. کش attention با ظرفیت 3,000 frames حدود 1.46GB VRAM مصرف می‌کند و تقریباً خطی رشد می‌کند؛ بنابراین کش هشت‌دقیقه‌ای روی کارت 24GB غیرمنطقی نیست. اما این فقط مشکل را عقب می‌اندازد. ضمن اینکه مدل برای همین مقدار پیش‌فرض طراحی شده و بزرگ‌تر کردن کش ممکن است روی inference اثر منفی بگذارد.

مقایسه طبیعی با GPT‑Live

مقایسه واضح برای PersonaPlex، حالت GPT‑Live است. GPT‑Live هم می‌تواند هنگام صحبت‌کردن گوش بدهد، به قطع‌کردن‌ها واکنش نشان دهد، مکث‌های طبیعی را پر کند و بارها در هر ثانیه تصمیم بگیرد که ادامه بدهد یا سکوت کند.

اما این مقایسه فقط در حوزه گفتار منصفانه است، نه فراتر از آن. GPT‑Live بخشی از یک سامانه بسیار بزرگ‌تر است: مکالمه‌های طولانی‌تر، جست‌وجوی وب، حافظه، ابزارها و امکان سپردن کارهای سخت به مدل‌های frontier مثل GPT‑5.5 در پشت صحنه. نتیجه بعداً به گفت‌وگوی زنده برمی‌گردد.

PersonaPlex چنین پشتیبانی‌ای ندارد. نمی‌تواند وب را جست‌وجو کند، ابزار صدا بزند، پرسش دشوار را به مدل قوی‌تر بسپارد یا مکالمه طولانی را مطمئن به خاطر نگه دارد. همان مدل 7-billion-parameter باید هم گوش بدهد، هم فکر کند، هم شخصیت را نگه دارد و هم صدا تولید کند.

در عوض، سرعت آن واقعاً چشمگیر است. تجربه نویسنده نشان می‌دهد PersonaPlex حتی هنگام اجرای محلی، از GPT‑Live سریع‌تر احساس می‌شد. این الزاماً آن را هوشمندتر یا کاربردی‌تر نمی‌کند؛ اما نشان می‌دهد از یک مدل خودکفا و محلی چقدر می‌توان پاسخ‌گویی سریع بیرون کشید.

نمایشی درخشان، نه محصول نهایی

PersonaPlex هنوز محصول کامل نیست. فراموش می‌کند، از نقش خارج می‌شود، جزئیات می‌سازد و در مکالمه‌های طولانی ممکن است خودش را وارد حلقه‌های تکراری کند. صداهای سفارشی هم تقریبی‌اند و پیاده‌سازی رسمی همچنان GPU گران‌قیمت می‌خواهد.

با این حال، اگر سخت‌افزار مناسب دارید، ارزش دارد فقط دو دقیقه با آن صحبت کنید: مدلی محلی را می‌بینید که گوش می‌دهد، جواب می‌دهد، مکث می‌کند و همه این‌ها را بسیار سریع انجام می‌دهد. همین برای نشان‌دادن مسیر آینده مدل‌های گفتاری کافی است.

از طرف دیگر، PersonaPlex کاملاً متن‌باز است. انویدیا نشان داده این نوع مدل گفتاری full‑duplex چگونه کار می‌کند و سپس کد و وزن‌ها را در اختیار توسعه‌دهندگان گذاشته تا آن را تغییر دهند و وارد workflowهای دیگر کنند. PersonaPlex شاید خودش محصول نهایی نباشد، اما می‌تواند پایه بسیاری از محصولات بعدی باشد.

منبع: این مطلب یک بومی‌سازی و بازنویسی تحریریه‌ای بر اساس مقاله‌ای از MakeUseOf است: مشاهده مقاله اصلی.