Cerebras lansează cea mai rapidă tehnologie de inferență AI din lume, performanță de 20 ori mai mare decât NVIDIA

Cerebras Systems tocmai a anunțat oficial Cerebras Inference, care este considerată cea mai rapidă soluție de inferență AI din lume. Această Cerebras Inference oferă performanțe de până la 1.800 de jetoane pe secundă pentru modelele Llama 3.1 8B (8 miliarde de parametri) și 450 de jetoane pe secundă pentru Llama 3.1 70B, ceea ce este de aproape 20 de ori mai rapid decât soluțiile de inferență AI bazate pe GPU NVIDIA, inclusiv soluțiile de inferență AI bazate pe GPU-uri NVIDIA, inclusiv soluțiile de inferență AI la scară largă Microsoft Azure.

Pe lângă performanța sa incredibilă, prețul serviciului acestei noi soluții de inferență este, de asemenea, foarte ieftin, la o fracțiune din prețul platformelor populare de cloud GPU. De exemplu, un client poate obține un milion de jetoane pentru doar 10 cenți, oferind astfel o performanță de preț de 100 de ori mai mare pentru sarcinile de lucru AI.

Precizia de 16 biți a Cerebras și viteza de inferență de 20 ori mai mare le vor permite dezvoltatorilor să construiască aplicații AI de înaltă generație de înaltă generație, fără a compromite viteza sau costul. Acest raport revoluționar preț/performanță este posibil de sistemul Cerebras CS-3 și de procesorul AI Wafer Scale Engine 3 (WSE-3). CS-3 oferă de 7.000 de ori mai multă lățime de bandă de memorie decât Nvidia H100, rezolvând provocarea tehnică a lățimii de bandă a memoriei pentru IA generativă.

Cerebras lansează cea mai rapidă tehnologie de inferență AI din lume, performanță de 20 ori mai mare decât NVIDIA

Cerebras Inference este disponibilă în prezent la următoarele trei niveluri:

  • Nivelul gratuit oferă acces gratuit la API și limite generoase de utilizare pentru oricine se înscrie.
  • Nivelul pentru dezvoltatori este conceput pentru implementări flexibile, fără server, oferind utilizatorilor puncte finale API la o fracțiune din costul alternativelor existente pe piață, cu modelele Llama 3.1 8B și 70B la prețuri de doar 10 cenți și, respectiv, 60 de cenți per milion de jetoane.
  • Planurile Enterprise Tier oferă modele ajustate, acorduri personalizate de nivel de servicii și asistență dedicată. Ideale pentru sarcinile de lucru persistente, companiile pot accesa Cerebras Inference prin cloud-ul privat gestionat de Cerebras sau on-premise.

Cu performanță record, prețuri competitive și acces deschis la API, Cerebras Inference stabilește un nou standard pentru dezvoltarea și implementarea LLM deschisă. Fiind singura soluție capabilă să ofere atât antrenament de mare viteză, cât și inferență, Cerebras deschide posibilități complet noi pentru AI.

Cu tendințele AI care evoluează rapid și NVIDIA deține în prezent o poziție dominantă pe piață, apariția unor companii precum Cerebras și Groq semnalează o potențială schimbare în dinamica întregii industrii. Pe măsură ce cererea pentru soluții de inferență AI mai rapide și mai rentabile crește, soluții precum Cerebras Inference sunt bine poziționate pentru a risca dominația NVIDIA, în special în spațiul de inferență.

Sign up and earn $1000 a day ⋙

Leave a Comment

Modul în care muzica stimulează creierul

Modul în care muzica stimulează creierul

Majoritatea oamenilor știu că muzica nu este doar pentru divertisment, ci are mult mai multe beneficii decât atât. Iată câteva modalități prin care muzica ne stimulează dezvoltarea creierului.

Cele mai frecvente deficiențe nutritive din dietă

Cele mai frecvente deficiențe nutritive din dietă

Dieta este foarte importantă pentru sănătatea noastră. Cu toate acestea, majoritatea dietelor noastre sunt adesea lipsite de acești șase nutrienți importanți.

Cum să utilizați aplicația CK Club de la Circle K pentru a primi oferte atractive

Cum să utilizați aplicația CK Club de la Circle K pentru a primi oferte atractive

Pentru a obține cele mai rapide informații promoționale de la Circle K, ar trebui să instalați aplicația CK Club. Aplicația salvează plățile la cumpărături sau la plata la Circle K, precum și numărul de timbre colectate.

Instagram va permite rulouri de până la 3 minute

Instagram va permite rulouri de până la 3 minute

Instagram tocmai a anunțat că va permite utilizatorilor să posteze videoclipuri Reels cu o durată de până la 3 minute, dublu față de limita anterioară de 90 de secunde.

Cum să vizualizați informațiile despre procesorul Chromebookului

Cum să vizualizați informațiile despre procesorul Chromebookului

Acest articol vă va ghida cum să vizualizați informațiile CPU, să verificați viteza procesorului direct pe Chromebook.

8 lucruri interesante pe care le poți face cu o veche tabletă Android

8 lucruri interesante pe care le poți face cu o veche tabletă Android

Dacă nu doriți să vindeți sau să oferiți vechea tabletă, o puteți utiliza în 5 moduri: ca ramă foto de înaltă calitate, player muzical, cititor de cărți electronice și reviste, asistent pentru treburile casnice și ca ecran secundar.

Cum să obții rapid unghii frumoase

Cum să obții rapid unghii frumoase

Vrei să ai rapid unghii frumoase, strălucitoare și sănătoase. Aceste sfaturi simple pentru unghii frumoase de mai jos vă vor fi utile.

Secretele de inspirație a culorilor doar designerii le cunosc

Secretele de inspirație a culorilor doar designerii le cunosc

Acest articol va enumera sfaturi inspirate de culori, împărtășite de designeri de top din comunitatea Creative Market, astfel încât să puteți obține combinația perfectă de culori de fiecare dată.

Tot ce aveți nevoie pentru a vă înlocui laptopul cu un telefon

Tot ce aveți nevoie pentru a vă înlocui laptopul cu un telefon

Îți poți înlocui cu adevărat laptopul cu telefonul? Da, dar veți avea nevoie de accesoriile potrivite pentru a vă transforma telefonul într-un laptop.

ChatGPT va putea în curând să vadă tot ce se întâmplă pe ecranul tău

ChatGPT va putea în curând să vadă tot ce se întâmplă pe ecranul tău

Un lucru important în videoclipul complet al evenimentului este că viitoarea caracteristică a aplicației ChatGPT a fost demonstrată, dar nu au fost distribuite detalii reale. Este capacitatea ChatGPT de a vedea tot ce se întâmplă pe ecranul dispozitivului utilizatorului.

AI învață să păcălească oamenii, în ciuda faptului că este antrenat să fie sincer

AI învață să păcălească oamenii, în ciuda faptului că este antrenat să fie sincer

Multe IA de top, în ciuda faptului că sunt antrenate să fie sincere, învață să înșele prin antrenament și îi induc sistematic pe utilizatori la convingeri false, arată un nou studiu.

Cum să schimbi întrebările pe ChatGPT

Cum să schimbi întrebările pe ChatGPT

ChatGPT are acum o opțiune de schimbare a întrebării, astfel încât utilizatorii să poată edita întrebarea sau conținutul pe care îl schimbă cu ChatGPT.

Cum să descoperiți codurile QR false și să vă păstrați datele în siguranță

Cum să descoperiți codurile QR false și să vă păstrați datele în siguranță

Codurile QR par destul de inofensive până când scanezi un cod QR prost și primești ceva urât în ​​sistemul tău. Dacă doriți să vă păstrați telefonul și datele în siguranță, există câteva moduri prin care puteți identifica codurile QR false.

Qualcomm lansează modemul X85 5G cu o serie de îmbunătățiri notabile

Qualcomm lansează modemul X85 5G cu o serie de îmbunătățiri notabile

Pe scena de la MWC 2025, Qualcomm a făcut furori când a introdus cea de-a opta generație de modem 5G numit X85, care se așteaptă să fie folosit în smartphone-urile emblematice care vor fi lansate în cursul acestui an.

Noua tehnologie permite telefoanelor să-și schimbe culoarea în mod flexibil

Noua tehnologie permite telefoanelor să-și schimbe culoarea în mod flexibil

Ai un iPhone 16 la modă „Ultramarine”, dar într-o bună zi te simți brusc plictisit de acea culoare; Ce vei face?