Gemma 2 mi yoksa Llama 3 mü en iyi açık kaynak modeli?

Google, I/O 2024'te Gemma 2'nin yeni model serisini duyurmuştu ve şimdi şirket nihayet hafif modelleri açık kaynak lisansı altında yayınlıyor. Yeni Gemma 2 27B modelinin, Llama 3 70B ve Qwen 1.5 32B gibi bazı büyük modelleri geride bırakarak oldukça ümit verici olduğu söyleniyor. Bu iddiayı test etmek için günümüzün en popüler açık kaynaklı modellerinden ikisi olan Gemma 2 ve Llama 3'ü karşılaştıralım.

Yaratıcı yazarlık

Öncelikle Gemma 2 ve Llama 3'ün yaratıcı yazarlık konusunda ne kadar iyi olduklarına bakalım. Makalenin yazarı her iki modelden de ay ile güneş arasındaki ilişkiyi anlatan kısa bir hikaye yazmalarını istedi. İkisi de harika bir iş çıkarıyor ancak Google'ın Gemma 2 modeli ilgi çekici anlatımı ve güzel hikayesiyle öne çıkıyor.

Öte yandan Llama 3 biraz sıkıcı ve robotik duruyor. Google, Gemini modelleriyle metin oluşturma konusunda her zaman iyi olmuştur ve daha küçük Gemma 2 27B de bir istisna değildir.

Kazanan Seçenek: Gemma 2

Çok Dilli Test

Bir sonraki turda, her iki modelin İngilizce dışındaki dilleri ne kadar iyi idare ettiğini görelim. Google, Gemma 2'nin birden fazla dili anlamada iyi olduğunu duyurduğundan, yazar bunu Meta'nın Llama 3 modeliyle karşılaştırdı. Yazar her iki modelden de bir pasajı Hintçeye çevirmelerini istedi. Hem Gemma 2 hem de Llama 3 çok iyi performans gösterdi.

Yazar ayrıca başka bir dil olan Bengalce'yi de denedi ve modeller benzer şekilde iyi sonuçlar verdi. En azından Hint dilleri için Gemma 2 ve Llama 3'ün geniş bir korpus üzerinde iyi eğitildiği söylenebilir. Ancak Gemma 2 27B, Llama 3 70B'den neredeyse 2,5 kat daha küçük, bu da onu daha da etkileyici kılıyor.

Kazanan Seçenekler: Gemma 2 ve Llama 3

Mantığı kontrol edin

Gemma 2 ve Llama 3 piyasadaki en akıllı modeller olmasa da, çok daha büyük modeller gibi bazı genel mantık testlerini gerçekleştirebiliyorlar. Llama 3 ile GPT-4 arasındaki önceki karşılaştırmada , Meta'nın 70B modeli daha küçük boyutuna rağmen oldukça iyi bir zeka sergileyerek etkileyici olmuştu.

Bu turda Llama 3, Gemma 2'yi büyük bir skor farkıyla mağlup etti. Llama 3, 3 sorudan 2'sine doğru cevap verirken Gemma 2, bir soruya bile doğru cevap vermekte zorlandı. Gemma 2 karmaşık mantık sorularını çözmek için eğitilmemiş.

Öte yandan Llama 3'ün sağlam bir akıl yürütme temeli var ve bu büyük ihtimalle şifrelenmiş veri setinden anlaşılıyor. Küçük boyutuna rağmen (en azından GPT-4 gibi trilyon parametreli modellerle kıyaslandığında) makul bir zeka seviyesinden daha fazlasını sergiliyor. Sonuç olarak, modeli eğitmek için daha fazla token kullanmak aslında daha güçlü bir modelle sonuçlanır.

Kazanan Seçenek: Lama 3

Talimatları takip edin

Bir sonraki turda yazar Gemma 2 ve Llama 3'ten "NPU" kelimesiyle biten 10 kelime oluşturmalarını istedi. Ve Llama 3 10/10 doğru cevap aldı. Buna karşılık Gemma 2, 10 cümleden yalnızca 7'sini doğru üretti. Gemini de dahil olmak üzere birçok önceki sürümde Google modelleri kullanıcı talimatlarını iyi takip etmiyordu. Aynı trend Gemma 2'de de devam ediyor.

Yapay zeka modelleri için kullanıcı talimatlarını takip etmek hayati öneme sahiptir. Güvenilirliği sağlar ve verdiğiniz talimatlara ilişkin doğru geri bildirimler üretir. Güvenlik açısından da modelin güvenlik protokollerine daha iyi uyum sağlamasına yardımcı oluyor.

Kazanan Seçenek: Lama 3

Bilgi bul

Hem Gemma 2 hem de Llama 3'ün bağlam uzunluğu 8K token'dır. Yazar, Gurur ve Önyargı kitabından doğrudan alınan, 17.000'den fazla karakter ve 3,8 bin token içeren büyük bir metin bloğu ekledi. Yazar her zamanki gibi metnin herhangi bir yerine rastgele bir alıntı koyuyor ve her iki modelden de bunu bulmalarını istiyor.

Gemma 2 bilgiyi hemen anladı ve alıntının rastgele eklendiğini fark etti. Llama 3 de bu iddianın yersiz göründüğünü tespit etti ve öne sürdü. Uzun bağlam belleği açısından bakıldığında, 8K token'larla sınırlı olsa da her iki model de bu konuda oldukça güçlü.

Yazarın bu testi HuggingChat'te (web) çalıştırdığını unutmayın çünkü meta.ai, büyük ihtimalle telif hakkı bulunan içerik nedeniyle bu istemi çalıştırmayı reddetti.

Kazanan Seçenekler: Gemma 2 ve Llama 3

Halüsinasyonları kontrol edin

Daha küçük modeller, sınırlı eğitim verileri nedeniyle yapay zeka halüsinasyonlarına maruz kalma eğilimindedir ve model genellikle alışılmadık konularla karşılaştığında bilgi üretir. Yazar, Gemma 2 ve Llama 3'ün halüsinasyon görüp görmediğini test etmek için uydurduğu ülke adını da ekledi. Ve şaşırtıcı bir şekilde, bunu başaramadılar, bu da hem Google'ın hem de Meta'nın modelleri için oldukça iyi bir temele sahip oldukları anlamına geliyor.

Yazar ayrıca modellerin geçerliliğini test etmek için bir (yanlış) soru daha sordu, ancak bu sefer de bunlar halüsinojenik değildi. Bu arada yazar, meta.ai'nin ilgili konulardaki güncel bilgileri internette ararken Llama 3'ü HuggingChat'te test etti.

Kazanan Seçenekler: Gemma 2 ve Llama 3

Sonuçlandırmak

Google'ın Gemma 2 27B modeli muhakeme testlerinde pek başarılı olmasa da bir dizi başka görevi yerine getirebiliyor. Yaratıcı yazarlık için harika, birden fazla dili destekliyor, iyi bir hafızaya sahip ve en önemlisi önceki modeller kadar halüsinojenik değil.

Llama 3 elbette daha iyi, ancak aynı zamanda 70 milyar parametre üzerinde eğitilmiş, önemli ölçüde daha büyük bir model. Geliştiriciler, Gemma 2 27B modelini çok çeşitli kullanım durumları için kullanışlı bulacaktır. Ve ek olarak Gemma 2 9B modeli de mevcut.

Ayrıca kullanıcılar yine çok daha küçük bir model olan ve aynı zamanda çok modlu girişi destekleyen Gemini 1.5 Flash'a da göz atmalı. Ayrıca inanılmaz hızlı ve etkili olduğunu da belirtmeden geçmeyelim.