Android Telefonda LLMyi Yerel Olarak Nasıl Yüklersiniz ve Çalıştırırsınız

Büyük dil modellerini (LLM) Android telefonunuzda yerel olarak çalıştırmak , bulut sunucularına veya İnternet bağlantısına güvenmeden bu AI modellerine erişebileceğiniz anlamına gelir . Bu yerel kurulum, verilerinizin güvende kalmasını ve cihazınızda saklanmasını sağlayarak gizliliğinizi garanti eder. Mobil donanımlardaki gelişmelerle birlikte yapay zeka modellerinin yerel olarak çalıştırılması artık bir gerçeklik haline geldi. MLC Chat uygulaması bu güçlü teknolojiyi telefonunuzda deneyimlemenizi kolaylaştırır.

Bu makalede, Android telefonlarda LLM'yi yerel olarak çalıştırmanın önemi açıklanacak ve MLC Chat uygulamasını kullanarak bunları yüklemek ve çalıştırmak için adım adım talimatlar sağlanacaktır.

Android telefonda LLM neden yapılır?

Hukuk alanındaki yüksek lisans programları genellikle önemli miktarda bilgi işlem gücü gerektirdiğinden bulut sunucularda yürütülür. Android telefonlar LLM yaparken bazı kısıtlamalara sahip olsa da, aynı zamanda bazı ilginç olanaklara da kapı açıyor.

• Gelişmiş Gizlilik : Tüm bilgi işlem telefonunuzda gerçekleştiğinden, verileriniz yerel kalır; bu da paylaştığınız hassas bilgiler açısından önemlidir.
• Çevrimdışı Erişim : Bu modellere erişmek veya etkileşimde bulunmak için sürekli bir İnternet bağlantısına gerek yoktur. Bu, özellikle uzak bölgelerdeki veya internet bağlantısı sınırlı olan kullanıcılar için oldukça faydalıdır.
• Maliyet Etkinliği : Bulut sunucularında LLM çalıştırmak, bulut depolama ve işlem gücü gibi operasyonel maliyetleri beraberinde getirir. Bu yöntem kullanıcılar için maliyet açısından etkili bir çözüm sunmaktadır.

Android'de MLC Chat'i Yükleme ve Çalıştırma Adım Adım Kılavuzu

MLC Chat uygulaması, kullanıcıların bulut tabanlı hizmetlere ihtiyaç duymadan, mobil telefonlar da dahil olmak üzere çeşitli cihazlarda büyük dil modellerini (LLM) yerel olarak çalıştırmalarına ve bunlarla etkileşime girmelerine olanak sağlamak için tasarlanmıştır. Android cihazınızda LLM programını yerel olarak çalıştırmak için aşağıdaki adımları izleyin.

Adım 1: MLC Chat uygulamasını yükleyin

Öncelikle aşağıdaki bağlantıdan MLC Chat uygulamasının APK dosyasını (112MB) indirmeniz gerekiyor.

MLC Chat uygulaması APK dosyası

APK indirildikten sonra, kurulumu başlatmak için dosyaya dokunun.

Adım 2: LLM'yi indirin

Uygulamayı başarıyla yükledikten sonra uygulamayı açtığınızda indirebileceğiniz LLM programlarının listesini göreceksiniz. LLama-3.2, Phi-3.5 ve Mistral gibi farklı büyüklük ve yeteneklerde modelleri mevcuttur. İhtiyacınıza uygun modeli seçip yanındaki indirme ikonuna tıklayarak indirmeye başlayabilirsiniz. Örneğin Redmi Note 10 gibi orta sınıf bir telefon kullanıyorsanız daha akıcı bir performans için Qwen-2.5 gibi hafif bir model seçin.

Adım 3: Yüklü LLM'yi çalıştırın

Model indirildikten sonra yanında bir sohbet simgesi belirecektir. Modellemeye başlamak için ikona tıklayın.

Model hazır olduğunda komutları yazmaya ve yerel LLM ile etkileşime girmeye başlayabilirsiniz.

Örneğin Redmi Note 10 gibi bir cihazda Qwen2.5 gibi daha küçük bir modeli çalıştırmak oldukça akıcı bir deneyim sağlıyor ve saniyede yaklaşık 1,4 token üretiyor. Bu performans Galaxy S23 Ultra gibi üst seviye cihazlara göre yavaş olsa da , kısa sohbetler ve basit içerik oluşturma gibi temel görevler için hala iyi çalışıyor.

Android cihazlarda MLC Chat uygulaması aracılığıyla yerel olarak LLM çalıştırmak, yapay zeka modelleriyle etkileşime girmek için erişilebilir ve gizliliğin korunduğu bir yol sağlar. Performans büyük ölçüde telefonun donanımına bağlıdır. Bu çözüm, yapay zeka modellerine çevrimdışı erişime ihtiyaç duyan, gerçek zamanlı olarak LLM test eden veya gizlilik konusunda endişe duyan kullanıcılar için idealdir. Mobil donanım gelişmeye devam ettikçe, yerel LLM'nin yetenekleri de genişleyecek ve bu, yapay zeka teknolojisi için heyecan verici bir sınır haline gelecektir.