# NVIDIA Dory 4B'nin llama.cpp Derleme ve Test Rehberi > NVIDIA Nemotron Labs'ın Dory 1.0 4B modeli, llama.cpp üzerinde derlenerek çalıştırılıyor; döngü sayısının performans ve doğruluk üzerindeki etkisi ölçülüyor. - URL: https://atakankademli.com.tr/blog/nvidia-dory-4bnin-llamacpp-derleme-ve-test-rehberi-hb4389 - Yazar: Haber Masası - Yayın: 2026-11-08 - Güncelleme: 2026-11-08 - Kategori: Teknoloji ## Kısa Cevap NVIDIA Nemotron Labs'ın Dory 1.0 4B modeli, llama.cpp üzerinde derlenerek farklı döngü sayılarında test edildi. 3.67 GB'lık GGUF dosyası kullanılan kılavuz, her ek döngünün hesaplama bütçesini parametre eklemeden artırdığını gösteriyor. GSM8K testleriyle doğruluk, hız ve cevap uzunluğu döngü sayısına göre karşılaştırıldı. Dory desteği için henüz açık olan çekme isteği, kullanıcılara derleme sürecini zorunlu kılıyor. ## Önemli Çıkarımlar - Dory 1.0 4B, her token için 1'den 4'e kadar değişen döngü sayısıyla çalışabilen paylaşılan bir blok mimarisine sahip. - Her ek döngü, modele yeni parametre eklemeden token başına hesaplama bütçesini artırıyor. - Model, 3.67 GB boyutundaki Q5_K_M GGUF dosyası olarak Hugging Face'ten indirilip SHA-256 ile doğrulanıyor. - llama.cpp'te Dory desteği henüz açık çekme isteği aşamasında olduğu için yayınlanmış ikili dosyalar çalışmıyor. - GSM8K değerlendirmesi, farklı döngü sayıları için doğruluk, cevap uzunluğu ve çözümlenme süresini ölçüyor. 07 Kasım 2026 tarihinde yayımlanan teknik kılavuz, NVIDIA Nemotron Labs tarafından geliştirilen Dory 1.0 4B akıl yürütme modelinin llama.cpp altyapısında nasıl derlendiğini ve çalıştırıldığını detaylandırıyor. Rehber, modelin mimari özelliklerinden doğrudan kütüphane entegrasyonuna kadar uzanan süreçte, özellikle döngü (loop) sayısının hesaplama bütçesi üzerindeki etkisini merkeze alıyor. ## Derleme süreci ve mimari yapı Dory 1.0 4B modeli, orta katmanlarının bir paylaşılan blok oluşturmasıyla öne çıkıyor. Bu mimari sayesinde model, her token için bir, iki, üç veya dört kez uygulanabilir durumda. Her ek döngü, modele yeni bir parametre eklemeden token başına daha fazla hesaplama harcanmasını sağlıyor; bu sayede tek bir kontrol noktası, yeniden eğitim gerektirmeden dört farklı hesaplama bütçesinde çalışabiliyor. Dory desteği llama.cpp'de henüz açık bir çekme isteği (PR #30306) aşamasında olduğu için, kullanıcılar yayınlanmış bir ikili dosya üzerinden modeli doğrudan yükleyemiyor. Bu durum, NVIDIA'nın model kartında sabitlediği belirli llama.cpp dalının ve commit'inin (98a74c97ea09ac72f6ceda1559808fc0a2f447ce) derlenmesini zorunlu kılıyor. Model dosyası, 3.67 GB boyutundaki Q5_K_M GGUF formatında Hugging Face üzerinden indiriliyor. Dosyanın bütünlüğü, 96080be49ffd67b916018b7bdef8c484762576fb52780e10ab98ac4978a660e0 değerindeki SHA-256 kontrolü ile doğrulanıyor. Derleme işlemi kullanılan platforma göre şekilleniyor: Mac sistemlerinde Metal bayrakları, Colab gibi ortamlarda ise bağlı GPU için CUDA çekirdekleri kullanılıyor. Model kartındaki komutlar dosyayı 'dory-q5_k_m.gguf' olarak çağırırken, depodaki gerçek isimden farklılık gösteriyor. Ayrıca, model kartının --flash-attn off ayarı nedeniyle Flash-aware dikkat çekirdekleri bu süreçte atlanıyor. ## Performans ölçümü ve doğruluk analizi Kılavuz, mimarinin GGUF dosyasından okunarak her döngünün parametre ve önbellek bellek maliyetinin tahmin edilmesini içeriyor. Bu tahminler, çalışan sunucu verileriyle karşılaştırılıyor ve her döngü sayısı için kodlama hızı (coding speed) ölçülüyor. Dört döngüye kadar uzanan bu testlerde, daha ucuz son-döngü önbelleğinin modelin tahminlerini değiştirip değiştirmediği de ayrıca inceleniyor. Doğruluk, cevap uzunluğu ve çözümlenme süresi metrikleri, çift GSM8K değerlendirmesi ile döngü sayısına göre ayrıntılı olarak analiz ediliyor. gguf kütüphanesinin 0.19.0 sürümü kullanılarak yürütülen bu süreç, küçük ölçekli akıl yürütme modellerinin yerel ve sunucu tabanlı ortamlardaki davranışını anlamak için kritik bir referans noktası sunuyor. ## Neden önemli? Dory 1.0 4B gibi küçük ölçekli akıl yürütme modelleri, sınırlı donanım kaynaklarıyla yüksek hesaplama bütçesi sunma potansiyeli taşıyor. Döngü sayısının parametre eklemeden performansı artırması, yeniden eğitim maliyetini düşürerek geliştiricilere esnek bir optimizasyon aracı sağlıyor. Kaynak: [The Batch / MarkTechPost](https://www.marktechpost.com/2026/11/07/coding-guide-nvidia-dory-4b-llama-cpp) Temsili görsel: [geralt / Pixabay](https://pixabay.com/photos/play-stone-network-networked-1237457/) ## Sıkça Sorulan Sorular ### NVIDIA Dory 1.0 4B modeli llama.cpp üzerinde nasıl çalıştırılıyor? Model, NVIDIA'nın model kartında sabitlediği belirli bir llama.cpp dalının ve commit'inin derlenmesiyle çalıştırılıyor. Dory desteği henüz açık bir çekme isteğinde olduğu için yayınlanmış ikili dosyalar kullanılamıyor. ### Dory 4B modelinin GGUF dosyası boyutu ne kadardır? Modelin Q5_K_M formatındaki GGUF dosyası 3.67 GB boyutundadır ve Hugging Face üzerinden indirilmektedir. ### Dory modelinde döngü sayısı performansı nasıl etkiliyor? Her ek döngü, modele yeni bir parametre eklemeden token başına daha fazla hesaplama harcanmasını sağlıyor; bu da tek bir kontrol noktasının farklı hesaplama bütçelerinde çalışabilmesine olanak tanıyor. ### Dory modelinin doğruluğu hangi test setiyle ölçülüyor? Modelin doğruluğu, cevap uzunluğu ve çözümlenme süresi GSM8K test seti üzerinden çift değerlendirme yöntemiyle inceleniyor. ## Kaynaklar - [How to Run NVIDIA Dory 4B with llama.cpp: Loop by Loop Guide](https://www.marktechpost.com/2026/11/07/coding-guide-nvidia-dory-4b-llama-cpp)