Cerebras, NVIDIAdan 20 kat daha hızlı, dünyanın en hızlı yapay zeka çıkarım teknolojisini piyasaya sürdü

Cerebras Systems, dünyanın en hızlı yapay zeka çıkarım çözümü olarak kabul edilen Cerebras Inference'ı resmen duyurdu. Bu Cerebras Çıkarımı, Llama 3.1 8B (8 milyar parametre) modelleri için saniyede 1.800 token'a kadar ve Llama 3.1 70B için saniyede 450 token'a kadar performans sağlıyor; bu da Microsoft Azure dahil olmak üzere günümüzün hiper ölçekli bulutlarında bulunan NVIDIA GPU tabanlı yapay zeka çıkarım çözümlerinden yaklaşık 20 kata kadar daha hızlı.

Bu yeni çıkarım çözümünün inanılmaz performansının yanı sıra, hizmet bedeli de oldukça ucuz; popüler GPU bulut platformlarının fiyatının çok daha altında. Örneğin, bir müşteri sadece 10 sent karşılığında bir milyon token alabilir ve bu sayede yapay zeka iş yükleri için 100 kat daha yüksek fiyat performansı sağlanabilir.

Cerebras'ın 16 bitlik hassasiyeti ve 20 kat daha hızlı çıkarım hızı, geliştiricilerin hızdan veya maliyetten ödün vermeden yeni nesil yüksek performanslı yapay zeka uygulamaları oluşturmasına olanak tanıyacak. Bu çığır açan fiyat/performans oranı, Cerebras CS-3 sistemi ve yapay zeka işlemcisi Wafer Scale Engine 3 (WSE-3) sayesinde mümkün oluyor. CS-3, Nvidia H100'den 7.000 kat daha fazla bellek bant genişliği sunarak, üretken yapay zeka için bellek bant genişliğinin teknik zorluğunu çözüyor.

Cerebras Inference şu anda aşağıdaki üç düzeyde mevcuttur:

• Ücretsiz Katman, kaydolan herkese ücretsiz API erişimi ve cömert kullanım limitleri sunar.
• Geliştirici Katmanı, esnek, sunucusuz dağıtımlar için tasarlanmıştır ve kullanıcılara piyasadaki mevcut alternatiflerin maliyetinin çok daha azı karşılığında API uç noktaları sağlar; Llama 3.1 8B ve 70B modelleri sırasıyla milyon token başına sadece 10 sent ve 60 sent fiyatla sunulmaktadır.
• Kurumsal Katman planları, ince ayarlı modeller, özel hizmet düzeyi anlaşmaları ve özel destek sunar. Sürekli iş yükleri için ideal olan Cerebras Inference'a işletmeler, Cerebras tarafından yönetilen özel bulut veya şirket içi üzerinden erişebilir.

Rekor performans, rekabetçi fiyatlandırma ve açık API erişimiyle Cerebras Inference, açık LLM geliştirme ve dağıtımı için yeni bir standart belirliyor. Hem yüksek hızlı eğitim hem de çıkarım sağlama yeteneğine sahip tek çözüm olan Cerebras, yapay zeka için tamamen yeni olanaklar sunuyor.

Yapay zeka trendlerinin hızla gelişmesi ve NVIDIA'nın şu anda pazarda baskın bir konuma sahip olmasıyla Cerebras ve Groq gibi şirketlerin ortaya çıkması, tüm endüstrinin dinamiklerinde potansiyel bir değişime işaret ediyor. Daha hızlı ve daha uygun maliyetli yapay zeka çıkarım çözümlerine olan talep arttıkça, Cerebras Inference gibi çözümler, özellikle çıkarım alanında NVIDIA'nın hakimiyetine girme şansını yakalamak için iyi bir konumdadır.