Şu Anda Deneyebileceğiniz En İyi 9 Yerel/Çevrimdışı LLM

Kuantum LLM'leri artık HuggingFace'de mevcut ve H20, Text Gen ve GPT4All gibi AI ekosistemleri bilgisayarınıza LLM dersleri yüklemenize olanak tanıyor ; artık ücretsiz, esnek ve güvenli bir AI seçeneğine sahipsiniz. İşte hemen deneyebileceğiniz en iyi 9 yerel/çevrimdışı LLM!

İçindekiler

• 1. Hermes 2 Pro GPTQ
• 2. Zephyr 7B Beta
• 3. Falcon Talimat GPTQ
• 4. GPT4ALL-J Harika
• 5. DeepSeek Coder V2 Talimatı
• 6. Miktral-8x7B
• 7. Sihirbaz Vicuna Sansürsüz-GPTQ
• 8. Orca Mini-GPTQ
• 9. Lama 2 13B Sohbet GPTQ

1. Hermes 2 Pro GPTQ

Hermes 2 Pro, Nous Research tarafından ince ayarlanmış gelişmiş bir dil modelidir. Şirketin kendisi tarafından geliştirilen yeni tanıtılan Fonksiyon Çağrısı ve JSON veri kümeleriyle birlikte, OpenHermes 2.5 veri kümesinin güncellenmiş ve sadeleştirilmiş bir versiyonunu kullanıyor. Bu model Mistral 7B mimarisine dayanmaktadır ve çoğunluğu sentetik verilerden oluşan GPT-4 kalitesinde veya daha iyi 1.000.000 talimat/konuşma ile eğitilmiştir.

Mistral 7B'deki Hermes 2 Pro, AGIEval, BigBench Reasoning, GPT4All ve TruthfulQA gibi çeşitli ölçütlerde gelişmiş performans sunan yeni amiral gemisi Hermes 7B modelidir. Gelişmiş yetenekleri sayesinde kod üretimi, içerik oluşturma ve konuşma tabanlı yapay zeka uygulamaları gibi pek çok doğal dil işleme (NLP) görevi için uygun hale geliyor.

2. Zephyr 7B Beta

Zephyr, yardımcı asistanlar olarak eğitilmiş bir dizi dil modelidir. Zephyr-7B-Beta, serinin ikinci modeli olup, halka açık sentetik veri kümelerinin bir karışımı üzerinde Doğrudan Tercih Optimizasyonu (DPO) kullanılarak Mistral-7B-v0.1'den geliştirilmiştir.

Zephyr-7B-Beta, eğitim veri kümelerinin yerleşik hizalamasını ortadan kaldırarak, MT-Bench gibi kıyaslamalarda gelişmiş performans göstererek çeşitli görevlerdeki kullanışlılığını artırıyor. Ancak bu ayarlama, bazı şekillerde istendiğinde sorunlu metin üretimine yol açabilir.

3. Falcon Talimat GPTQ

Falcon'un bu nicemlenmiş versiyonu, TII'nin ham Falcon-7b modeli üzerinde geliştirilen yalnızca kod çözücü mimarisine dayanmaktadır. Temel Falcon modeli, kamuya açık İnternet'ten elde edilen 1,5 trilyon adet dolaşımdaki token kullanılarak eğitildi. Apache 2 lisanslı komut tabanlı yalnızca kod çözücü modeli olan Falcon Instruct, dil çevirisi ve veri toplama için kullanılacak bir model arayan küçük işletmeler için mükemmeldir.

Ancak Falcon'un bu versiyonu ince ayar yapmak için ideal değildir ve sadece çıkarım yapmak için tasarlanmıştır. Falcon'u ince ayarlamak istiyorsanız, NVIDIA DGX veya AMD Instinct AI Accelerators gibi kurumsal düzeyde eğitim donanımlarına erişim gerektirebilecek ham modeli kullanmanız gerekecek.

4. GPT4ALL-J Harika

GPT4All-J Groovy, Nomic AI tarafından ayarlanmış ve Apache 2.0 lisansı altında lisanslanmış, yalnızca kod çözücüye sahip bir modeldir. GPT4ALL-J Groovy, komutlardan metin üretmede harika olduğu bilinen orijinal GPT-J modeline dayanmaktadır. GPT4ALL -J Groovy, hızlı ve yaratıcı metin oluşturma uygulamaları için harika olan konuşma tabanlı bir modele dönüştürüldü. Bu, GPT4All-J Groovy'yi şiir, müzik veya hikaye olsun, içerik oluşturucularının yazma ve kompozisyon konusunda onlara yardımcı olmak için ideal hale getirir.

Ne yazık ki, temel GPT-J modeli yalnızca İngilizce veri kümesi üzerinde eğitildi; bu da, bu ince ayarlı GPT4ALL-J modelinin bile yalnızca İngilizce dilinde konuşabildiği ve metin oluşturma uygulamaları gerçekleştirebildiği anlamına geliyor.

5. DeepSeek Coder V2 Talimatı

DeepSeek Coder V2, programlamayı ve matematiksel muhakemeyi geliştiren gelişmiş bir dil modelidir. DeepSeek Coder V2, birden fazla programlama dilini destekler ve genişletilmiş bağlam uzunluğu sunar, bu da onu geliştiriciler için çok yönlü bir araç haline getirir.

DeepSeek Coder V2, selefine kıyasla kod, muhakeme ve genel yeteneklerle ilgili görevlerde önemli iyileştirmeler gösteriyor. Programlama dillerine desteği 86'dan 338'e, bağlam uzunluğunu ise 16K'dan 128K token'a çıkarıyor. Karşılaştırmalı testlerde GPT-4 Turbo, Claude 3 Opus ve Gemini 1.5 Pro gibi modelleri kriptografik ve matematiksel karşılaştırmalarda geride bırakıyor.

6. Miktral-8x7B

Mixtral-8x7B, Mistral AI tarafından geliştirilen uzman modeller (MoE) karışımıdır. Her MLP'de 8 uzman bulunmakta olup, toplam 45 milyar parametre bulunmaktadır. Ancak, çıkarım sırasında token başına yalnızca iki uzman etkinleştiriliyor, bu da onu hesaplama açısından verimli hale getiriyor ve hız ve maliyeti 12 milyar parametreli bir modele benzetiliyor.

Mixtral, 32 bin token'lık bir bağlam uzunluğunu destekliyor ve çoğu kıyaslamada Llama 2'yi 70 milyar geride bırakarak GPT-3.5 performansına eşit veya onu geçiyor. İngilizce, Fransızca, Almanca, İspanyolca ve İtalyanca dahil olmak üzere birçok dili akıcı bir şekilde konuşabilmesi, onu çeşitli NLP görevleri için çok yönlü bir seçim haline getiriyor.

7. Sihirbaz Vicuna Sansürsüz-GPTQ

Wizard-Vicuna GPTQ, LlaMA modeline dayanan Wizard Vicuna'nın kuantum versiyonudur. Kamuya açık çoğu LLM'nin aksine, Wizard-Vicuna sansürsüz ve ilişkilendirilmemiş bir modeldir. Bu, modelin diğer modellerin çoğuyla aynı güvenlik ve etik standartlarına sahip olmadığı anlamına geliyor.

Yapay zeka hizalama kontrolü için bir sorun teşkil edebilmesine rağmen, sansürsüz bir LLM'ye sahip olmak, herhangi bir kısıtlama olmaksızın cevap vermesine izin vererek modeldeki en iyiyi ortaya çıkarır. Bu ayrıca kullanıcıların, yapay zekanın belirli bir komut doğrultusunda nasıl davranması veya yanıt vermesi gerektiği konusunda kendi özel hizalamalarını eklemelerine de olanak tanır.

8. Orca Mini-GPTQ

Benzersiz bir öğrenme yöntemi kullanılarak eğitilmiş bir modeli test etmek mi istiyorsunuz? Orca Mini, Microsoft'un Orca araştırma makalesinin resmi olmayan bir uygulamasıdır. Bu model, veri setinin yalnızca istemler ve yanıtlar yerine açıklamalarla doldurulduğu bir öğretmen-öğrenci öğrenme yaklaşımı kullanılarak eğitilmiştir. Teoride bu, öğrenciyi daha akıllı yapmalıdır çünkü model, geleneksel LLM'nin aksine sadece girdi ve çıktı çiftlerine bakmak yerine sorunu anlayabilir.

9. Lama 2 13B Sohbet GPTQ

Llama 2 , orijinal Llama LLM'nin devamı niteliğinde olup geliştirilmiş performans ve çok yönlülük sunmaktadır. 13B Chat GPTQ varyantı, İngilizce diyalog için optimize edilmiş konuşma tabanlı yapay zeka uygulamaları için ayarlanmıştır.

Yukarıda listelenen modellerin bazıları teknik özellikler açısından birden fazla versiyona sahiptir. Genel olarak, daha yüksek özelliklere sahip versiyonlar daha iyi sonuçlar üretir ancak daha güçlü bir donanım gerektirirken, daha düşük özelliklere sahip versiyonlar daha düşük kalitede sonuçlar üretir ancak daha düşük donanımlarda çalışabilir. Bilgisayarınızın bu modeli çalıştırıp çalıştıramayacağından emin değilseniz, önce daha düşük özelliklere sahip bir sürümü deneyin, ardından performans düşüşünün artık kabul edilebilir olmadığını hissedene kadar denemeye devam edin.