arXiv'de iki yeni büyük dil modeli kuantizasyon makalesi yayımlandı

28 Ekim 2026 tarihinde arXiv Machine Learning kategorisinde yayımlanan iki yeni makale, büyük dil modellerinin dağıtım maliyetlerini azaltmaya odaklanıyor. Bu çalışmalar, yeniden eğitim gerektirmeden bellek ve performans iyileştirmeleri hedefliyor.

İlk makalenin yazarı Ning Yang, düşük bit ağırlık-aktivasyon kuantizasyonunda aktivasyon yuvarlama kalıntısını kullanarak katman çıkış hatasını telafi eden düşük seviyeli bir düzeltme yöntemi öneriyor. Çıkış-birikimli kalibrasyon prosedürü, kalıntı yönlerini çıkış yeniden yapısına katkısına göre seçer ve düzeltmeyi gradient eğitim veya kalibre edilmiş ağırlıkların güncellenmesi olmadan kapalı formda hesaplar.

Llama-3-8B modelinde 4-bit ağırlık ve aktivasyon ile rank-32 dikkat düzeltmeleri, WikiText-2 karmaşıklığını 7.708'den 7.147'ye düşürürken, MMLU puanını 2.89 yüzde puan artırıyor. Aynı ayarlarda beş fotoğraflı GSM8K doğruluğu 23.96'dan 36.16 yüzdeye yükseliyor. Yöntem 1B'den 70B parametreye kadar modellerde ve ayrılmış C4 test setinde değerlendirilmiştir.

FP32 uygulaması 4K ön doldurma süresine yüzde 2.25 eklerken, ayrı kompakt depolama uygulaması FP16'e göre zirpe bellek kullanımında yüzde 27.7 azalma sağlar. ResCom makalesi 25 sayfa, 249 KB boyutunda olup 10 sayfa ana metin, 9 şekil ve 20 tablo içeriyor.

Kapı tabanlı bellek iyileştirmesi

Chen Tianqi'nin GateRQ makalesi ise koşullu bellek katmanlarında her arama için ayrı ayrı hassasiyet belirleyen bir kapı tabanlı yöntem sunuyor. Kapı, alınan satırı ölçeklendirir ve arama kuantizasyon hatasını kapı tarafından ağırlandırır. Sık erişilen n-gramlar için kapı küçük, uzun kuyruk varlıkların nadir n-gramları için büyük olur ve 1-bit koddan hesaplanabilir.

GateRQ her satırı 1-bit kalıntı kodlarının bir merdiveni olarak saklar. Seviye 1 GPU belleğinde tutulur ve daha derin seviyeler sadece kapının en yüksek sıraladığı aramalar için okunur. Yeniden eğitim olmadan GateRQ, DeepSeek-V4.1-Flash'ta GPU tablo belleğini 7.8 kat azaltır ve vLLM iş verisini FP8 tablolar üzerinden yüzde 11-31 artırır.

GateRQ, 1.50 bit okuma başına yaklaşık 1 PopQA puanı ve iki modelde 2.10 bitte 0.2 puan kayıp yaşar. DeepSeek'in Engram koşullu bellek katmanlarından DeepSeek-V4.1-Flash'tan çıkarmak 36.8 PopQA puanı kaybına neden olur. Sık erişilen satırlara daha fazla bit vermek standart bir çözüm olarak işe yaramaz; erişim sıklığına göre aramaları iyileştirmek rastgele iyileştirmeden daha kötüdür. GateRQ makalesi 25 sayfa, 401 KB boyutunda olup 10 sayfa ana metin, 9 şekil ve 20 tablo içeriyor.

Neden önemli?

Düşük bit kuantizasyonu büyük dil modellerinin dağıtımı için gereken bellek ve hesaplama kaynağını azaltır ancak doğruluğu düşürebilir. Bu iki makale, yeniden eğitim olmadan bellek tasarrufu ve performans iyileştirmesi sağlayarak bu soruna teknik bir yanıt sunuyor.

Kaynak: arXiv — Machine Learning, arXiv — Machine Learning

Temsili görsel: Jeremy Waterhouse / Pexels