MPQ yöntemi büyük dil modellerinde iyileştirme sağladı

Yanshuo Chen tarafından arXiv'e yüklenen MPQ (Message-Passing Quantization) adlı yeni post-training quantization yöntemi, büyük dil modellerinin ağırlıklarını yeniden eğitim gerektirmeden düşük bitli temsillere sıkıştırmak için mesaj geçişi tabanlı bir yaklaşım sunuyor. Çalışma, 26 Ekim 2026 tarihinde arXiv:2610.32127 numarasıyla yayınlandı ve dosya boyutu 316 KB olarak belirtiliyor.

MPQ'nun temel yaklaşımı

Post-training quantization, büyük dil modellerinin verimli dağıtımı için ağırlıkları yeniden eğitim gerektirmeden düşük bitli temsillere sıkıştıran bir tekniktir. GPTQ, LDLQ ve blok koordinat inişi gibi mevcut çözücüler, her ağırlık bloğunu komşularına bakmadan tek bir kod kelimeye bağlar. Bu durum, yakın-ideal alternatiflerin keşfedilmesini engeller ve alt optimum sonuçlara yol açabilir.

Denemeler ve sonuçlar

MPQ, satır bazlı post-training quantization'ı diskret kod kitaplıkları üzerindeki arka uç çıkarsama olarak ele alır ve mevcut çözücüleri sıfır sıcaklıkta, sert karar sınırı tutan bir sınırlı durum olarak gösterir. Yöntem, vektör Yaklaşık Mesaj Geçişi kullanarak yaklaşık blok bazlı arka uçları hesaplar, ardından sert karar başlatmasını tam blok koordinat inişi ile iyileştirir. Llama, Qwen ve Mistral ailesi yoğun dil modellerinde 2-bit lattice ve 3- ve 4-bit skaler quantization deneylerinde MPQ, güçlü sert karar bazlarına göre perplexity ve sıfır-tirş doğruluğu üzerinde iyileştirme sağladı. Aktivasyon-bilgilendirilmiş ölçeklendirme ve tutarsızlık işleme gibi ön işleme teknikleriyle uyumlu çalıştığı da rapor edildi.

Neden önemli?

Post-training quantization, büyük dil modellerinin verimli dağıtımı için önemli bir tekniktir. Mevcut çözücülerin her ağırlık bloğunu komşularına bakmadan tek kod kelimeye bağlaması, alt optimum sonuçlara yol açabilir. MPQ'nın bu sınırlamayı aşması, model sıkıştırma alanında önemli bir gelişme niteliğindedir.

Kaynak: arXiv — Artificial Intelligence

Temsili görsel: geralt / Pixabay