iPhone ve diğer Apple donanım ürünlerini üretmesiyle bilinen Foxconn, üretim ve tedarik zinciri yönetimini iyileştirmek için kullanılması amaçlanan FoxBrain adlı ilk büyük dil modelini (LLM) duyurarak herkesi şaşırttı.
Tayvanlı üretici, FoxBrain'in Nvidia'nın H100 GPU'larından sadece 120 tanesiyle eğitildiğini söylüyor. Bu LLM programı temel olarak Meta'nın Llama 3.1 mimarisi baz alınarak, 70 milyar parametrenin damıtılmasıyla geliştirilmiştir. LLM geliştirme kavramı, bir "ebeveyn" modeli kullanmayı ve onun yanıtlarına göre bir "çocuk" modeli eğitmeyi içerir. Foxconn ayrıca LLM'lerinin DeepSeek'in (Çin) rafine edilmiş modeli kadar iyi olmadığını kabul ediyor, ancak genel performansın dünya standartlarında oldukça yakın olduğunu belirtiyor.
Hon Hai Araştırma Enstitüsü (Foxconn) Yapay Zeka Araştırma Merkezi Direktörü Dr. Yung-Hui Li, bu başarı hakkında şunları söyledi:
Son aylarda yapay zeka alanında, GPU'ların muhakeme yeteneklerinin geliştirilmesi ve daha verimli kullanılması giderek önemli bir trend haline geliyor. FoxBrain modelimiz, körü körüne bilgi işlem gücü biriktirmek yerine eğitim sürecini optimize etmeye odaklanarak çok verimli bir eğitim stratejisi benimsedi.
Dikkatlice tasarlanmış eğitim yöntemleri ve kaynak optimizasyonu sayesinde güçlü muhakeme yeteneklerine sahip yerel bir yapay zeka modeli oluşturmayı başardık."

Foxconn sadece Apple ürünlerini monte etmiyor, aynı zamanda Nvidia'nın yapay zeka sunucularını da üretiyor. FoxBrain, 120 adet H100 GPU ile birlikte Nvidia'nın Quantum-2 InfiniBand ağını kullanarak ölçekleniyor ve eğitimi yaklaşık 4 hafta sürüyor (toplam hesaplama maliyeti 2.688 GPU günü). Foxconn, 128.000 tokena kadar bağlam penceresi uzunluğuna sahip Geleneksel Çince'de 98 milyar yüksek kaliteli ön eğitim veri tokeni üretti.
Foxconn ile Nvidia arasındaki ortaklık yeni değil ve iki şirket, dünyanın en büyük Blackwell GPU üretim tesisini inşa etmek de dahil olmak üzere başka projeler üzerinde de çalışıyor.
Nvidia ayrıca Foxconn'a model ön eğitim sürecini tamamlamak için Taipei-1 süper bilgisayarını sağladı. Foxconn, FoxBrain'in şirketin üç ana platformunu (Akıllı Üretim, Akıllı Elektrikli Araçlar ve Akıllı Şehirler) yükseltmek için "anahtar bir motor" olacağını söyledi.