Foxconn, compania cea mai cunoscută pentru fabricarea iPhone-urilor și a altor produse hardware Apple, tocmai a surprins pe toată lumea anunțând primul său model de limbă mare (LLM), numit FoxBrain, care este destinat să fie utilizat pentru a îmbunătăți producția și managementul lanțului de aprovizionare.
Producătorul taiwanez spune că FoxBrain a fost instruit cu doar 120 de GPU-uri H100 ale Nvidia. Acest LLM este dezvoltat practic pe baza arhitecturii Meta Llama 3.1, cu 70 de miliarde de parametri prin distilare. Conceptul de rafinament LLM implică utilizarea unui model „părinte” și formarea unui model „copil” pe baza răspunsurilor acestuia. Foxconn a recunoscut, de asemenea, că LLM-ul lor nu este la fel de bun ca modelul rafinat al DeepSeek (China), dar performanța generală este foarte apropiată de standardele de clasă mondială.
Vorbind despre această realizare, dr. Yung-Hui Li, directorul Centrului de Cercetare a Inteligenței Artificiale de la Institutul de Cercetare Hon Hai (Foxconn), a spus:
În ultimele luni, îmbunătățirea capacităților de raționament și utilizarea eficientă a GPU-urilor a devenit treptat o tendință majoră în domeniul AI. Modelul nostru FoxBrain a adoptat o strategie de antrenament foarte eficientă, concentrându-se pe optimizarea procesului de antrenament, mai degrabă decât pe acumularea orbește de putere de calcul.
Prin metode de instruire atent concepute și prin optimizarea resurselor, am reușit să construim un model AI local cu capacități puternice de raționament.”

Foxconn nu numai că asamblează produse Apple, ci produce și serverele AI ale Nvidia. Împreună cu 120 de GPU-uri H100, FoxBrain este extins folosind rețeaua Quantum-2 InfiniBand a Nvidia, iar antrenamentul durează doar aproximativ 4 săptămâni (pentru un cost de calcul total de 2.688 de zile GPU). Foxconn a generat 98 de miliarde de jetoane de date pre-training de înaltă calitate în chineză tradițională, cu o lungime a ferestrei de context de până la 128.000 de jetoane.
Parteneriatul dintre Foxconn și Nvidia nu este nou, iar cele două companii lucrează și la alte proiecte, inclusiv construirea celei mai mari unități de producție de GPU Blackwell din lume.
Nvidia a furnizat Foxconn și supercomputerul Taipei-1 pentru a finaliza procesul de pre-formare a modelului. Foxconn a spus că FoxBrain va deveni un „motor cheie” pentru modernizarea celor trei platforme principale ale companiei: Smart Manufacturing, Smart Electric Vehicles și Smart Cities.