در اوایل آوریل ۲۰۲۵ ، متا Llama ۴ را راه اندازی کرد ، آخرین سری مدل های هوش مصنوعی خود را که برای فشار آوردن شرکت به سطح بعدی طراحی شده است. هر یک از مدل های New Llama ۴ با پیشرفت های جدی نسبت به پیشینیان خود همراه است و این ویژگی های جدید برای امتحان کردن است.
در اوایل آوریل ۲۰۲۵ ، متا Llama ۴ را راه اندازی کرد ، آخرین سری مدل های هوش مصنوعی خود را که برای فشار آوردن شرکت به سطح بعدی طراحی شده است. هر یک از مدل های New Llama ۴ با پیشرفت های جدی نسبت به پیشینیان خود همراه است و این ویژگی های جدید برای امتحان کردن است.
3
معماری کارشناسان (MOE)
یکی از برجسته ترین ویژگی های مدل های Llama ۴ ، معماری جدید MOE است ، اولین بار برای سری Llama که از رویکرد متفاوتی از مدل های قبلی استفاده می کند. تحت معماری جدید ، فقط بخشی از پارامترهای مدل برای هر نشانه فعال می شود ، برخلاف مدل های سنتی ترانسفورماتور متراکم مانند Llama ۳ و پایین ، جایی که تمام پارامترها برای هر کار فعال می شوند.
به عنوان مثال ، Llama ۴ Maverick تنها از ۴۰۰ میلیارد پارامتر فعال استفاده می کند ، با ۱۲۸ متخصص مسیریابی و یک متخصص مشترک. Llama ۴ Scout ، کوچکترین سریال ، در مجموع ۱۰۹ میلیارد پارامتر دارد که تنها ۱۷ میلیارد با ۱۶ متخصص را فعال می کند.
بزرگترین سه گانه ، Llama ۴ Behemoth ، از ۲۸۸ میلیارد پارامتر فعال (با ۱۶ متخصص) از نزدیک به دو تریلیون پارامتر کل استفاده می کند. با تشکر از این معماری جدید ، فقط دو متخصص به هر کار اختصاص داده می شوند.
در نتیجه تغییر معماری ، مدل های سری Llama ۴ از نظر محاسباتی در آموزش و استنباط کارآمدتر هستند. فقط فعال کردن کسری از پارامترها همچنین هزینه های خدمت و تأخیر را کاهش می دهد. با تشکر از معماری MOE ، متا ادعا می کند که Llama می تواند با توجه به تعداد پارامترها ، روی یک پردازنده گرافیکی NVIDIA H100 واحد اجرا کند. در حالی که چهره خاصی وجود ندارد ، تصور می شود که هر پرس و جو برای چتپ از چندین GPU NVIDIA استفاده می کند ، که تقریباً در هر متریک قابل اندازه گیری یک سربار بزرگتر ایجاد می کند.
2
قابلیت های پردازش چندمودال بومی
یکی دیگر از به روزرسانی های اصلی مدل های Llama ۴ AI ، قابلیت های پردازش چند حالته بومی است ، به این معنی که سه گانه می تواند همزمان متن و تصاویر را درک کند.
این به لطف فیوژن انجام شده در مراحل اولیه آموزش ، جایی که نشانه های متن و بینایی در یک معماری یکپارچه ادغام می شوند. این مدل ها با استفاده از مقادیر زیادی از متن ، تصویر و داده های بدون برچسب آموزش داده می شوند.
بهتر از این نیست. اگر به یاد داشته باشید ، به روزرسانی Meta’s Llama ۳.۲ ، که در سپتامبر ۲۰۲۴ منتشر شد ، چندین مدل جدید (در کل ده) را معرفی کرد ، از جمله پنج مدل دید چند حالته و پنج مدل متن. با استفاده از این نسل ، این شرکت به لطف توانایی های پردازش مولتییمال بومی نیازی به انتشار مدل های متن و چشم انداز جداگانه ندارد.
علاوه بر این ، Llama ۴ از یک رمزگذار بینایی بهبود یافته استفاده می کند و مدل ها را قادر می سازد تا وظایف استدلال بینایی پیچیده و ورودی های چند تصویر را برطرف کنند و آنها را قادر به دستیابی به برنامه هایی که نیاز به متن پیشرفته و درک تصویر دارند. پردازش چند حالته همچنین به مدل های Llama ۴ اجازه می دهد تا در طیف گسترده ای از برنامه ها استفاده شود.
1
پنجره زمینه پیشرو در صنعت
مدل های Llama ۴ AI دارای یک پنجره زمینه بی سابقه با ۱۰ میلیون توکن است. اگرچه Llama ۴ Behemoth هنوز در حال انتشار است ، اما Llama ۴ Scout معیار جدید صنعت را با پشتیبانی تا ۱۰ میلیون توکن در طول متن تنظیم می کند ، که به شما امکان می دهد متن بیش از پنج میلیون کلمه را وارد کنید.
این طول زمینه گسترش یافته یک افزایش چشمگیر از نشانه های 8K Llama ۳ در هنگام رونمایی از آن است ، و حتی گسترش پیگیری به 128K پس از به روزرسانی Llama ۳.۲. و این فقط طول ۱۰ میلیون متن Llama ۴ Scout نیست که هیجان انگیز است. حتی Llama ۴ Maverick ، با طول یک میلیون متن ، یک شاهکار چشمگیر است.
Llama ۳.۲ در حال حاضر در میان بهترین چت های AI برای مکالمات گسترده است. با این حال ، پنجره متن گسترده Llama ۴ Llama را به عنوان رهبر قرار می دهد ، و از پنجره متن برتر دو میلیون Token Token Gemini ، Claude ۳.۷ Sonnet 200K و 128K GPT-۴.۵ Chatgpt پیشی گرفت.
با وجود پنجره زمینه بزرگ ، سری Llama ۴ می تواند وظایفی را که نیاز به ورودی با مقادیر گسترده ای از اطلاعات دارند ، انجام دهند. آن پنجره عظیم در کارهایی مانند تجزیه و تحلیل طولانی و چند مستند ، تجزیه و تحلیل دقیق از کد های بزرگ و استدلال در مورد مجموعه داده های بزرگ مفید است.
این همچنین Llama ۴ را قادر می سازد تا بر خلاف مدل های قبلی Llama و سایر شرکت های هوش مصنوعی ، مکالمات گسترده را انجام دهد. اگر یکی از دلایلی که Gemini ۲.۵ Pro بهترین مدل استدلال است ، پنجره زمینه بزرگ آن است ، می توانید تصور کنید که یک پنجره زمینه 5x یا 10x چقدر قدرتمند است.
مدل های سری Llama ۳ متا در حال حاضر یکی از بهترین LLM های موجود در بازار بودند. اما با انتشار سری Llama ۴ ، متا نه تنها با تمرکز بر عملکرد استدلال بهبود یافته (به لطف پنجره زمینه جدید پیشرو در صنعت) ، بلکه با استفاده از معماری جدید MOE در هر دو آموزش و استنتاج ، اطمینان حاصل می کند.
در کنار هم ، پردازش چند حالته بومی Llama ۴ ، معماری کارآمد MOE ، و پنجره زمینه عظیم آن را به عنوان یک مدل هوش مصنوعی همه کاره ، با کارایی بالا ، با وزن باز قرار می دهد که در استدلال ، برنامه نویسی و سایر کارها از مدل های پیشرو پیشی می گیرد.