Cele mai bune 3 caracteristici noi ale modelului Meta AI Llama 4

La începutul lui aprilie 2025, Meta a lansat Llama 4 , cea mai recentă serie de modele AI concepute pentru a duce compania la următorul nivel. Fiecare nou model Llama 4 are îmbunătățiri semnificative față de predecesorii săi, iar acestea sunt noile caracteristici remarcabile de încercat.

3. Arhitectura Mixture of Experts (MoE).

Una dintre cele mai notabile caracteristici ale modelelor Llama 4 este noua arhitectură MoE, o premieră pentru seria Llama, care utilizează o abordare diferită față de modelele anterioare. În noua arhitectură, doar o mică parte din parametrii modelului sunt activate pentru fiecare jeton, spre deosebire de modelele tradiționale de transformatoare dense precum Llama 3 și mai jos, unde toți parametrii sunt activați pentru fiecare sarcină.

De exemplu, Llama 4 Maverick folosește doar 17 miliarde de parametri activi din 400 de miliarde, cu 128 de experți direcționați și un expert partajat. Llama 4 Scout, cel mai mic din serie, are un total de 109 miliarde de parametri, activând doar 17 miliarde cu 16 experți.

Cea mai mare versiune a trio-ului, Llama 4 Behemoth, folosește 288 de miliarde de parametri activi (cu 16 experți) dintr-un total de aproape două trilioane de parametri. Datorită acestei noi arhitecturi, doar doi specialiști sunt alocați fiecărei sarcini.

Datorită schimbării arhitecturale, modelele din seria Llama 4 sunt mai eficiente din punct de vedere computațional în timpul antrenamentului și inferenței. Activarea doar a unei mici porțiuni de parametri reduce costurile serviciului și latența. Datorită arhitecturii MoE, Meta susține că Llama poate rula pe un singur GPU Nvidia H100, o performanță impresionantă având în vedere numărul de parametri. Deși nu există valori specifice, se crede că fiecare interogare către ChatGPT utilizează mai multe GPU-uri Nvidia, ceea ce creează o suprasarcină mai mare în aproape fiecare măsurătoare măsurabilă.

2. Capacități native de procesare multimodală

O altă actualizare importantă a modelelor Llama 4 AI este procesarea multimodală nativă, ceea ce înseamnă că trio-ul poate înțelege textul și imaginile simultan.

Acest lucru se datorează combinației efectuate în faza de instruire inițială, unde textul și simbolurile vizuale sunt integrate într-o arhitectură unificată. Modelele sunt antrenate folosind cantități mari de date neetichetate text, imagini și video.

Nu este mai bine decât asta. Dacă vă amintiți, upgrade-ul Meta Llama 3.2 , lansat în septembrie 2024, a introdus o serie de modele noi (10 în total), inclusiv 5 modele de viziune multimodală și 5 modele text. Cu această generație, compania nu are nevoie să lanseze modele separate de text și viziune datorită capabilităților native de procesare multimodală.

În plus, Llama 4 folosește un encoder vizual îmbunătățit, permițând modelelor să gestioneze sarcini complexe de inferență vizuală și intrări cu mai multe imagini, făcându-le capabile să gestioneze aplicații care necesită înțelegere avansată a textului și imaginilor. Procesarea multimodală permite, de asemenea, ca modelele LLama 4 să fie utilizate într-o varietate de aplicații.

1. Fereastra contextuală lider în industrie

Modelele AI ale lui Llama 4 se laudă cu o fereastră contextuală fără precedent de până la 10 milioane de jetoane. În timp ce Llama 4 Behemoth este încă în dezvoltare la momentul publicării, Llama 4 Scout a stabilit un nou standard de referință în industrie, cu capacitatea sa de a suporta până la 10 milioane de jetoane în lungime de context, permițându-vă să introduceți text mai lung de 5 milioane de cuvinte.

Această lungime extinsă a contextului este o creștere semnificativă față de jetoanele de 8k ale Llama 3 când a fost lansat pentru prima dată și chiar extinderea ulterioară la 128k după actualizarea Llama 3.2. Și nu este interesant doar lungimea contextului de 10 milioane a lui Llama 4 Scout; Chiar și Llama 4 Maverick, cu lungimea de un milion de contexte, este o performanță impresionantă.

Llama 3.2 este în prezent unul dintre cei mai buni chatbot AI pentru conversații extinse. Cu toate acestea, fereastra de context extinsă a lui Llama 4 o pune pe Llama în frunte, depășind fereastra anterioară de top 2 milioane de token a Gemini, 200K a lui Claude 3.7 Sonnet și 128K a lui GPT-4.5.

Cu o fereastră de context mare, seria Llama 4 poate gestiona sarcini care necesită introducere cu cantități uriașe de informații. Această fereastră mare este utilă pentru sarcini precum analizarea documentelor lungi și multiple, analizarea în detaliu a bazelor mari de coduri și raționamentul pe seturi mari de date.

De asemenea, permite lui Llama 4 să poarte conversații extinse, spre deosebire de modelele anterioare Llama și modelele de la alte companii AI. Dacă unul dintre motivele pentru care Gemini 2.5 Pro este cel mai bun model de raționament este fereastra de context mare, vă puteți imagina cât de puternică este o fereastră de context 5x sau 10x.

Modelele Llama din seria 3 de la Meta au fost unele dintre cele mai bune LLM-uri de pe piață. Dar, odată cu lansarea seriei Llama 4, Meta face lucrurile cu un pas mai departe, concentrându-se nu numai pe performanța îmbunătățită a inferenței (mulțumită noii ferestre de context lider în industrie), ci și asigurând cele mai eficiente modele posibile prin utilizarea unei noi arhitecturi MoE atât în ​​timpul instruirii, cât și al inferenței.

Capacitățile native de procesare multimodală ale Llama 4, arhitectura eficientă MoE și fereastra de context mare îl poziționează ca un model AI deschis, de înaltă performanță, flexibil, ponderat în funcție de greutate, care poate concura sau depăși modelele de vârf pentru inferență, codare și multe alte sarcini.