9 cele mai bune LLM locale/offline pe care le puteți încerca chiar acum

Cu LLM-urile cuantice disponibile acum pe ecosistemele HuggingFace și AI precum H20, Text Gen și GPT4All, permițându-vă să încărcați greutăți LLM pe computer, aveți acum o opțiune pentru AI gratuită, flexibilă și sigură. Iată cele mai bune 9 LLM-uri locale/offline pe care le poți încerca chiar acum!

Cuprins

• 1. Hermes 2 Pro GPTQ
• 2. Zephyr 7B Beta
• 3. Falcon Instruct GPTQ
• 4. GPT4ALL-J Groovy
• 5. DeepSeek Coder V2 Instruct
• 6. Mixtral-8x7B
• 7. Wizard Vicuna Uncensored-GPTQ
• 8. Orca Mini-GPTQ
• 9. Lama 2 13B Chat GPTQ

1. Hermes 2 Pro GPTQ

Hermes 2 Pro este un model de limbaj avansat, reglat fin de Nous Research. Utilizează o versiune actualizată și redusă a setului de date OpenHermes 2.5, împreună cu noile seturi de date Function Calling și JSON dezvoltate de companie însăși. Acest model se bazează pe arhitectura Mistral 7B și a fost antrenat pe 1.000.000 de instrucțiuni/conversații de calitate GPT-4 sau mai bună, în mare parte date sintetice.

Hermes 2 Pro de pe Mistral 7B este noul model emblematic Hermes 7B, oferind performanțe îmbunătățite într-o varietate de benchmark-uri, inclusiv AGIEval, BigBench Reasoning, GPT4All și TruthfulQA. Capacitățile sale avansate îl fac potrivit pentru multe sarcini de procesare a limbajului natural (NLP), cum ar fi generarea de cod, crearea de conținut și aplicațiile AI conversaționale.

2. Zephyr 7B Beta

Zephyr este o serie de modele de limbaj antrenate să acționeze ca asistenți de ajutor. Zephyr-7B-Beta este al doilea model din serie, rafinat din Mistral-7B-v0.1 folosind Direct Preference Optimization (DPO) pe un amestec de seturi de date sintetice disponibile public.

Prin eliminarea alinierii încorporate a seturilor de date de antrenament, Zephyr-7B-Beta demonstrează o performanță îmbunătățită pe benchmark-uri precum MT-Bench, sporindu-și utilitatea într-o varietate de sarcini. Cu toate acestea, această ajustare poate duce la generarea de text problematică atunci când vi se solicită în anumite moduri.

3. Falcon Instruct GPTQ

Această versiune cuantificată a Falcon se bazează pe o arhitectură exclusiv de decodor, rafinată pe modelul brut Falcon-7b al lui TII. Modelul de bază Falcon este antrenat folosind 1,5 trilioane de jetoane restante, provenite de pe internetul public. Fiind un model de decodor bazat pe comandă cu licență Apache 2, Falcon Instruct este perfect pentru întreprinderile mici care caută un model pe care să-l folosească pentru traducerea limbilor și asimilarea de date.

Totuși, această versiune de Falcon nu este ideală pentru reglaje fine și este destinată doar inferenței. Dacă vrei să ajustezi fin Falcon, va trebui să utilizezi modelul brut, ceea ce poate necesita acces la hardware de antrenament de nivel enterprise, cum ar fi NVIDIA DGX sau AMD Instinct AI Accelerators.

4. GPT4ALL-J Groovy

GPT4All-J Groovy este un model numai pentru decodor, reglat de Nomic AI și licențiat sub Apache 2.0. GPT4ALL-J Groovy se bazează pe modelul original GPT-J, despre care se știe că este excelent la generarea de text din solicitări. GPT4ALL -J Groovy a fost adaptat la un model conversațional, care este excelent pentru aplicații rapide și creative de generare de text. Acest lucru face ca GPT4All-J Groovy să fie ideal pentru creatorii de conținut pentru a-i ajuta cu scrierea și compoziția lor, fie că este vorba de poezie, muzică sau povești.

Din păcate, modelul de bază GPT-J a fost antrenat pe un set de date doar în limba engleză, ceea ce înseamnă că chiar și acest model GPT4ALL-J reglat fin poate conversa și efectua aplicații de generare de text doar în limba engleză.

5. DeepSeek Coder V2 Instruct

DeepSeek Coder V2 este un model de limbaj avansat care îmbunătățește programarea și raționamentul matematic. DeepSeek Coder V2 acceptă mai multe limbaje de programare și oferă o lungime extinsă a contextului, făcându-l un instrument versatil pentru dezvoltatori.

În comparație cu predecesorul său, DeepSeek Coder V2 prezintă îmbunătățiri semnificative în sarcinile legate de cod, raționament și capabilități generale. Extinde suportul pentru limbaje de programare de la 86 la 338 și extinde lungimea contextului de la 16K la 128K tokens. În benchmark-uri, depășește modele precum GPT-4 Turbo, Claude 3 Opus și Gemini 1.5 Pro în benchmark-uri criptografice și matematice.

6. Mixtral-8x7B

Mixtral-8x7B este un amestec de modele experte (MoE) dezvoltate de Mistral AI. Are 8 experți per MLP, însumând 45 de miliarde de parametri. Cu toate acestea, doar doi experți sunt activați pe token în timpul inferenței, ceea ce îl face eficient din punct de vedere computațional, cu viteză și cost comparabil cu un model cu 12 miliarde de parametri.

Mixtral acceptă o lungime de context de 32.000 de jetoane și depășește Llama 2 cu 70B la majoritatea benchmark-urilor, egalând sau depășind performanța GPT-3.5. Vorbește fluent mai multe limbi, inclusiv engleză, franceză, germană, spaniolă și italiană, ceea ce îl face o alegere versatilă pentru o varietate de sarcini NLP.

7. Wizard Vicuna Uncensored-GPTQ

Wizard-Vicuna GPTQ este versiunea cuantică a Wizard Vicuna bazată pe modelul LlaMA. Spre deosebire de majoritatea LLM-urilor lansate publicului, Wizard-Vicuna este un model necenzurat cu asocierea eliminată. Aceasta înseamnă că modelul nu are aceleași standarde de siguranță și etică ca majoritatea celorlalte modele.

Deși poate reprezenta o problemă pentru controlul alinierii AI, a avea un LLM necenzurat scoate tot ce este mai bun din model, permițându-i să răspundă fără nicio constrângere. Acest lucru permite, de asemenea, utilizatorilor să-și adauge propria aliniere personalizată asupra modului în care AI ar trebui să acționeze sau să răspundă pe baza unui anumit prompt.

8. Orca Mini-GPTQ

Căutați să testați un model antrenat folosind o metodă unică de învățare? Orca Mini este o implementare neoficială a lucrării de cercetare Microsoft Orca. Acest model este antrenat folosind o abordare de învățare profesor-elev, în care setul de date este umplut cu explicații în loc de doar solicitări și răspunsuri. În teorie, acest lucru ar trebui să facă studentul mai inteligent, deoarece modelul poate înțelege problema în loc să caute doar perechi de intrare și ieșire, așa cum funcționează LLM convențional.

9. Lama 2 13B Chat GPTQ

Llama 2 este succesorul originalului Llama LLM, oferind performanță și versatilitate îmbunătățite. Varianta 13B Chat GPTQ este reglată pentru aplicații AI conversaționale optimizate pentru dialogul în limba engleză.

Unele dintre modelele enumerate mai sus vin în mai multe versiuni în ceea ce privește specificațiile. În general, versiunile cu specificații superioare produc rezultate mai bune, dar necesită hardware mai puternic, în timp ce versiunile cu specificații inferioare produc rezultate de calitate inferioară, dar pot rula pe hardware de gamă inferioară. Dacă nu sunteți sigur dacă computerul dvs. poate rula acest model, încercați mai întâi o versiune cu specificații mai mici, apoi continuați până când simțiți că scăderea performanței nu mai este acceptabilă.