Nvidia, 4 GB bellekli yeni yapay zeka modelini tanıttı
Nvidia, telefonlar, küçük cihazlar ve robotlar için geliştirdiği Nemotron 3.5 Bolt E4B modelini yayımladı. Model, internet bağlantısı olmadan çalışabiliyor.
Nvidia, telefonlar, küçük cihazlar ve robotlar için geliştirdiği Nemotron 3.5 Bolt E4B adlı yapay zeka modelini yayımladı. Yaklaşık 4 GB bellek hedefiyle tasarlanan model, internet bağlantısına ihtiyaç duymadan sohbet edebiliyor. Uygulamalardaki araçları kullanarak görevleri de yerine getirebiliyor.
Model, Google'ın Gemma 4 E4B modelini temel alıyor. Nvidia, bu modeli kendi ek eğitim süreciyle geliştirdi. Böylece model, doğal dilde sohbet etmenin yanında birden fazla adımdan oluşan görevleri de yapabiliyor.
Nvidia'ya göre model, önceki modeli Nano 4B ile karşılaştırıldığında temel sohbet ve araç kullanımı testlerinde ortalama yaklaşık yüzde 40 daha yüksek kalite sağladı. Diğer karşılaştırılan açık modellere göre ise ortalama puanlarının yaklaşık yüzde 10 daha yüksek olduğu aktarıldı.
Nvidia'nın değerlendirmelerine göre model, akıl yürütmenin etkin olduğu karşılaştırmalarda diğer modellere kıyasla yüzde 80'e kadar daha az token kullanabiliyor. Bu durum hesaplama yükünü ve maliyetleri düşürürken yanıt sürelerini de kısaltabiliyor.
Nvidia, modelin bulut tabanlı hizmetlere bağımlılığı azaltarak yapay zeka özelliklerinin doğrudan cihaz üzerinde çalışmasını hedefliyor. Model; bilgisayarlar, mobil cihazlar, ev sistemleri, araç içi asistanlar, oyun karakterleri, robotik sistemler ve endüstriyel otomasyon uygulamalarında kullanılabiliyor. Çalışabildiği platformlar arasında Nvidia GeForce RTX, Jetson, RTX Spark ve DGX Spark bulunuyor.
Nvidia'nın paylaştığı demoda, küçük boyutlu insansı robot Reachy Mini, 8 GB belleğe sahip Jetson Orin Nano üzerinde Nemotron 3.5 Bolt E4B ile çalışıyor. Robot, animasyon kütüphanesindeki komut dosyalarını çağırarak hareket ediyor ve kullanıcılarla sesli iletişim kuruyor. Görsel çevre algılama için Cosmos 3 Edge modelinden yararlanılıyor.
Demoda model ayrıca Minecraft'taki bir demirci tüccar karakterini yönetiyor. Karakter, ödemenin doğru yapıldığını kontrol ettikten sonra araçları çağırarak üretim tariflerini inceliyor, malzemeleri topluyor, eşyayı üretiyor ve kullanıcıya teslim ediyor.
Modelin 64 bin token bağlam penceresi bulunuyor ve 35 dil desteği sunuyor. Model, bir konuşma boyunca uygulama API'lerini çağırarak görevleri gerçekleştirebiliyor. Akıl yürütme özelliği karmaşık taleplerde açılabiliyor veya daha hızlı yanıt gereken durumlarda kapatılabiliyor.
Nvidia, modeli Hugging Face, Ollama, LM Studio, Unsloth, Canonical, Jetson AI Lab ve NVIDIA In-Game Inferencing SDK üzerinden geliştiricilerin kullanımına açtı. Şirket ayrıca uygulama entegrasyonu yönergelerini, model kartını, dağıtım örneklerini ve eğitim tariflerini paylaşıyor.
Haber Bilgisi
Kaynak:DonanımHaber,Teknolojioku
Yorumlar
Bu habere henüz yorum yapılmadı. İlk yorumu siz yazın.
Yorum Yap
Editörden

Çetin Keçeli ve sendika yönetiminden Mustafa Keskin’e Ziyaret

İsrail'in ateşkese rağmen Gazze'deki saldırılarında 2 Filistinli hayatını kaybetti







