در اوایل آوریل 2025 ، متا Llama 4 را راه اندازی کرد ، آخرین سری مدل های هوش مصنوعی خود را که برای فشار آوردن شرکت به سطح بعدی طراحی شده است. هر یک از مدل های New Llama 4 با پیشرفت های جدی نسبت به پیشینیان خود همراه است و این ویژگی های جدید برای امتحان کردن است.
در اوایل آوریل 2025 ، متا Llama 4 را راه اندازی کرد ، آخرین سری مدل های هوش مصنوعی خود را که برای فشار آوردن شرکت به سطح بعدی طراحی شده است. هر یک از مدل های New Llama 4 با پیشرفت های جدی نسبت به پیشینیان خود همراه است و این ویژگی های جدید برای امتحان کردن است.
3
معماری کارشناسان (MOE)
یکی از برجسته ترین ویژگی های مدل های Llama 4 ، معماری جدید MOE است ، اولین بار برای سری Llama که از رویکرد متفاوتی از مدل های قبلی استفاده می کند. تحت معماری جدید ، فقط بخشی از پارامترهای مدل برای هر نشانه فعال می شود ، برخلاف مدل های سنتی ترانسفورماتور متراکم مانند Llama 3 و پایین ، جایی که تمام پارامترها برای هر کار فعال می شوند.
به عنوان مثال ، Llama 4 Maverick تنها از 400 میلیارد پارامتر فعال استفاده می کند ، با 128 متخصص مسیریابی و یک متخصص مشترک. Llama 4 Scout ، کوچکترین سریال ، در مجموع 109 میلیارد پارامتر دارد که تنها 17 میلیارد با 16 متخصص را فعال می کند.
بزرگترین سه گانه ، Llama 4 Behemoth ، از 288 میلیارد پارامتر فعال (با 16 متخصص) از نزدیک به دو تریلیون پارامتر کل استفاده می کند. با تشکر از این معماری جدید ، فقط دو متخصص به هر کار اختصاص داده می شوند.
در نتیجه تغییر معماری ، مدل های سری Llama 4 از نظر محاسباتی در آموزش و استنباط کارآمدتر هستند. فقط فعال کردن کسری از پارامترها همچنین هزینه های خدمت و تأخیر را کاهش می دهد. با تشکر از معماری MOE ، متا ادعا می کند که Llama می تواند با توجه به تعداد پارامترها ، روی یک پردازنده گرافیکی NVIDIA H100 واحد اجرا کند. در حالی که چهره خاصی وجود ندارد ، تصور می شود که هر پرس و جو برای چتپ از چندین GPU NVIDIA استفاده می کند ، که تقریباً در هر متریک قابل اندازه گیری یک سربار بزرگتر ایجاد می کند.
2
قابلیت های پردازش چندمودال بومی
یکی دیگر از به روزرسانی های اصلی مدل های Llama 4 AI ، قابلیت های پردازش چند حالته بومی است ، به این معنی که سه گانه می تواند همزمان متن و تصاویر را درک کند.
این به لطف فیوژن انجام شده در مراحل اولیه آموزش ، جایی که نشانه های متن و بینایی در یک معماری یکپارچه ادغام می شوند. این مدل ها با استفاده از مقادیر زیادی از متن ، تصویر و داده های بدون برچسب آموزش داده می شوند.
بهتر از این نیست. اگر به یاد داشته باشید ، به روزرسانی Meta’s Llama 3.2 ، که در سپتامبر 2024 منتشر شد ، چندین مدل جدید (در کل ده) را معرفی کرد ، از جمله پنج مدل دید چند حالته و پنج مدل متن. با استفاده از این نسل ، این شرکت به لطف توانایی های پردازش مولتییمال بومی نیازی به انتشار مدل های متن و چشم انداز جداگانه ندارد.
علاوه بر این ، Llama 4 از یک رمزگذار بینایی بهبود یافته استفاده می کند و مدل ها را قادر می سازد تا وظایف استدلال بینایی پیچیده و ورودی های چند تصویر را برطرف کنند و آنها را قادر به دستیابی به برنامه هایی که نیاز به متن پیشرفته و درک تصویر دارند. پردازش چند حالته همچنین به مدل های Llama 4 اجازه می دهد تا در طیف گسترده ای از برنامه ها استفاده شود.
1
پنجره زمینه پیشرو در صنعت
مدل های Llama 4 AI دارای یک پنجره زمینه بی سابقه با 10 میلیون توکن است. اگرچه Llama 4 Behemoth هنوز در حال انتشار است ، اما Llama 4 Scout معیار جدید صنعت را با پشتیبانی تا 10 میلیون توکن در طول متن تنظیم می کند ، که به شما امکان می دهد متن بیش از پنج میلیون کلمه را وارد کنید.
این طول زمینه گسترش یافته یک افزایش چشمگیر از نشانه های 8K Llama 3 در هنگام رونمایی از آن است ، و حتی گسترش پیگیری به 128K پس از به روزرسانی Llama 3.2. و این فقط طول 10 میلیون متن Llama 4 Scout نیست که هیجان انگیز است. حتی Llama 4 Maverick ، با طول یک میلیون متن ، یک شاهکار چشمگیر است.
Llama 3.2 در حال حاضر در میان بهترین چت های AI برای مکالمات گسترده است. با این حال ، پنجره متن گسترده Llama 4 Llama را به عنوان رهبر قرار می دهد ، و از پنجره متن برتر دو میلیون Token Token Gemini ، Claude 3.7 Sonnet 200K و 128K GPT-4.5 Chatgpt پیشی گرفت.
با وجود پنجره زمینه بزرگ ، سری Llama 4 می تواند وظایفی را که نیاز به ورودی با مقادیر گسترده ای از اطلاعات دارند ، انجام دهند. آن پنجره عظیم در کارهایی مانند تجزیه و تحلیل طولانی و چند مستند ، تجزیه و تحلیل دقیق از کد های بزرگ و استدلال در مورد مجموعه داده های بزرگ مفید است.
این همچنین Llama 4 را قادر می سازد تا بر خلاف مدل های قبلی Llama و سایر شرکت های هوش مصنوعی ، مکالمات گسترده را انجام دهد. اگر یکی از دلایلی که Gemini 2.5 Pro بهترین مدل استدلال است ، پنجره زمینه بزرگ آن است ، می توانید تصور کنید که یک پنجره زمینه 5x یا 10x چقدر قدرتمند است.
مدل های سری Llama 3 متا در حال حاضر یکی از بهترین LLM های موجود در بازار بودند. اما با انتشار سری Llama 4 ، متا نه تنها با تمرکز بر عملکرد استدلال بهبود یافته (به لطف پنجره زمینه جدید پیشرو در صنعت) ، بلکه با استفاده از معماری جدید MOE در هر دو آموزش و استنتاج ، اطمینان حاصل می کند.
در کنار هم ، پردازش چند حالته بومی Llama 4 ، معماری کارآمد MOE ، و پنجره زمینه عظیم آن را به عنوان یک مدل هوش مصنوعی همه کاره ، با کارایی بالا ، با وزن باز قرار می دهد که در استدلال ، برنامه نویسی و سایر کارها از مدل های پیشرو پیشی می گیرد.