Cum să instalați și să rulați LLM local pe telefonul Android

Rularea modelelor lingvistice mari (LLM) local pe telefonul dvs. Android înseamnă că puteți accesa acele modele AI fără a vă baza pe servere cloud sau pe o conexiune la internet . Această configurație locală asigură confidențialitatea prin păstrarea datelor dumneavoastră în siguranță și pe dispozitiv. Odată cu progresele în hardware-ul mobil, rularea modelelor AI la nivel local a devenit o realitate. Aplicația MLC Chat facilitează experimentarea acestei tehnologii puternice chiar pe telefon.

Acest articol va explica importanța rulării LLM local pe telefoanele Android și va oferi instrucțiuni pas cu pas pentru a le instala și rula folosind aplicația MLC Chat.

De ce să rulați LLM pe telefonul Android?

LLM-urile sunt de obicei rulate pe servere cloud, deoarece necesită o putere de calcul semnificativă. În timp ce telefoanele Android au anumite limitări atunci când rulează LLM, ele deschid și câteva posibilități interesante.

• Confidențialitate îmbunătățită : Deoarece toate calculele au loc pe telefonul dvs., datele dvs. rămân locale, ceea ce este important pentru orice informații sensibile pe care le partajați.
• Acces offline : nu este necesară o conexiune la Internet persistentă pentru a accesa sau a interacționa cu aceste modele. Acest lucru este util în special pentru utilizatorii din zone îndepărtate sau cei cu conexiune limitată la internet.
• Cost eficient : Rularea LLM pe servere cloud implică costuri operaționale, cum ar fi stocarea în cloud și puterea de procesare. Această metodă oferă utilizatorilor o soluție rentabilă.

Ghid pas cu pas pentru a instala și rula MLC Chat pe Android

Aplicația MLC Chat este concepută pentru a permite utilizatorilor să ruleze și să interacționeze cu modele de limbă mari (LLM) la nivel local pe o varietate de dispozitive, inclusiv telefoane mobile, fără a se baza pe servicii bazate pe cloud. Urmați pașii de mai jos pentru a rula LLM local pe dispozitivul Android.

Pasul 1: Instalați aplicația MLC Chat

Mai întâi, trebuie să descărcați APK-ul pentru aplicația MLC Chat (112 MB) de la linkul de mai jos.

Fișierul APK al aplicației MLC Chat

Odată ce APK-ul este descărcat, atingeți fișierul pentru a începe instalarea.

Pasul 2: Descărcați LLM

După instalarea cu succes a aplicației, deschideți aplicația și veți vedea o listă de masterate LLM disponibile pentru descărcare. Sunt disponibile modele de diferite dimensiuni și capacități, cum ar fi LLama-3.2, Phi-3.5 și Mistral. Selectați modelul în funcție de nevoile dvs. și faceți clic pe pictograma de descărcare de lângă acesta pentru a începe descărcarea. De exemplu, dacă folosești un telefon de gamă medie, cum ar fi Redmi Note 10, alege un model ușor, cum ar fi Qwen-2.5, pentru o performanță mai fluidă.

Pasul 3: Rulați LLM instalat

Odată ce modelul este descărcat, o pictogramă de chat va apărea lângă el. Faceți clic pe pictogramă pentru a începe modelarea.

Odată ce modelul este gata, puteți începe să tastați solicitări și să interacționați cu LLM local.

De exemplu, pe un dispozitiv precum Redmi Note 10, rularea unui model mai mic precum Qwen2.5 oferă o experiență destul de fluidă, generând aproximativ 1,4 jetoane pe secundă. Deși această performanță este mai lentă decât dispozitivele de ultimă generație, cum ar fi Galaxy S23 Ultra , încă funcționează bine pentru sarcini de bază, cum ar fi chat-urile scurte și crearea simplă de conținut.

Rularea LLM local pe dispozitive Android prin aplicația MLC Chat oferă o modalitate accesibilă și protejată de confidențialitate de a interacționa cu modelele AI. Performanța depinde în mare măsură de hardware-ul telefonului. Această soluție este ideală pentru utilizatorii care au nevoie de acces offline la modele AI, testează LLM-uri în timp real sau sunt preocupați de confidențialitate. Pe măsură ce hardware-ul mobil continuă să se îmbunătățească, capacitățile LLM locale se vor extinde, făcând din aceasta o frontieră interesantă pentru tehnologia AI.