TWIG adlı yeni sinir ağı ağırlık temsilinin tanıtımı
arXiv'de TWIG (Tree-structured Weights with Inherited Gates) adlı yeni bir sinir ağı ağırlık temsilini tanımlayan makale yayımlanmıştır. Geliştirme, her ağırlığın paylaşılan diskret kararların bir yolunun sonu olduğu bir yapı öneriyor.
Ammar Ali tarafından hazırlanan ve arXiv'de Machine Learning (cs.LG) konusu altında yayımlanan makale, TWIG (Tree-structured Weights with Inherited Gates) adlı yeni bir ağırlık temsilini tanıtıyor. Makalenin arXiv numarası 2610.31931 olarak belirtiliyor.
TWIG yapısının temel özellikleri
TWIG'de her ağırlık, işaret, iki kuvvetine kaydırma, sıfır kapısı ve paylaşılan tablo indeksi gibi küçük diskret kararların bir yolunun sonudur. Birlikte bulunan ağırlıklar yollarının üst kısmını paylaşır ve her karar altındaki tüm ağırlıklar tarafından devralınır. Kararlar iki kuvveti olduğunda ağırlık katmanları neredeyse tamamen teller ve toplayıcılardan oluşan devreler haline gelir. Bu yapı, ağırlıkların üretim sırasında sabitlendiği çiplere uygundur.
Sıkıştırma yöntemlerinin tek bir nesne altında birleştirilmesi
Kesme (pruning), nicelleme (quantization), düşük dereceli faktörleştirme, kod kitapları ve ağırlık paylaşımı tek bir nesne üzerinden düzenlenebilir. Tek bir iyileştirici, tüm ağ için bu yöntemler arasından seçim yapabilir. Karar seçimi, ağaç yollarını izleyen etkileşimlere sahip yüksek-sıralı bir Boltzmann makinesinin zemin durumu problemi olarak tanımlanır ve bu problem sınıfı annealer ve kuantum iyileştiriciler için yapılandırılmıştır.
Deney sonuçları ve dosya boyutu
Büyük dil modelinin beş ağırlık matrisi üzerinde yapılan denemelerde, düz ağaç yapısı GPTQ'ye göre 3 ve 4 bit hassasiyette 9--15% daha az toplayıcı gerektiriyor. Güçlü aykırı değerler içeren matrislerde bu tasarruf 20--55%'e çıkıyor. Sonuçlar, katman hatası eşit tutularak elde edilmiş. TWIG'in dosya boyutu 59 KB olarak bildirilmiştir.
Neden önemli?
TWIG, mevcut sıkıştırma yöntemlerinin ayrı format ve çözücü getirdiği bir alanda bu yaklaşımları tek bir nesne altında birleştirmeyi amaçlıyor. Ağırlık formatlarının uzun süredir paylaşılan kararlar yönünde geliştiği bağlamda, bu geliştirme donanım dostu devre tasarımında yeni bir perspektif açabilir.
Kaynak: arXiv — Machine Learning
Temsili görsel: Pok Rie / Pexels
Bu içerik düzenli olarak gözden geçirilir. Son kontrol: 26 Ekim 2026 · Markdown sürümü
