Büyük dil modelleri için PRISM ve LARE yöntemleri arXiv'de yayımlandı

arXiv Machine Learning kategorisinde 27 Ekim 2026 tarihinde yayımlanan iki farklı makale, büyük dil modellerinin eğitim ve üretim süreçlerinde yeni iyileştirmeler öneriyor. Qixin Xu tarafından gönderilen ilk makale, üretim çeşitliliğini artırmayı hedefleyen PRISM eğitim zamanlı çerçevesini sunuyor. Jiazheng Li tarafından gönderilen ikinci makale ise veri karışımında kayıp yeniden ağırlıklandırma yöntemi LARE'yi tartışıyor.

PRISM, model çökmesi riskine karşı çıkarılan bir çerçeve olarak tanımlanıyor. Çıktı dağılımının alışkın olduğu semantik modlara yoğunlaşması durumunda çeşitlilik kaybolup tekrarlanan örnekleme keşif yerine semantik tekrar haline gelebiliyor. PRISM buna karşın her istemi doğru ama farklı olan çok öğretmen çözümleriyle eşleştiren altmodüler kümelendirme kullanıyor.

Çerçeve, özel belirteç pertürbasyonlarını farklı örneklemler için örtük sinyallere dönüştüren stokastik gömme modülasyonu da uyguluyor. WritingPrompts ve BookMIA veri setlerinde kalite-çeşitlilik sınırını dışarı iterek en yüksek üretim kalitesine ulaşma hedefine sahip. İki açık ağırlıklı model ailesinde en güçlü veya yakın en güçlü semantik çeşitliliği sürdürürken matematik ve kod referanslarında örnekleme verimliliğini iyileştiriyor. Pekiştirmeli öğrenme eğitiminde sıkça gözlenen çeşitlilik çökmesini azaltarak daha güçlü bir temele dayanıyor.

LARE ile veri karışımı ağırlıkları ayarlanıyor

LARE, veri maruziyetini sabit tutarak her alanın öğrenmeye katkı gücünü değiştiren bir yöntem sunuyor. Çoğu mevcut çözümün çıkış zamanında müdahale ederek örnekleri şekillendirmesi, çeşitliliği model yeteneği haline getiremediği eleştiriliyor. LARE ise çalışan kayıp istatistiklerinden alan ağırlıklarını otomatik olarak ayarlıyor.

Normalize edilmiş ters karekök kuralıyla örneklenen karışımı değiştirmeden göreli kayıp ölçeklerini dengelemeyi hedefliyor. 1.5B parametreli ve 240B token üzerinde eğitilen bir modelde beş referanstan ortalama +7,84 puan artışı sağlanıyor. GSM8K referansında +17,06, MATH referansında ise +9,00 puan kazanç elde ediliyor. Bilgi-matematik deneylerinde tek bir noktada her iki aşama yoluyla elde edilen en iyi bilgi ve akıl yürütme skorlarını aşan bir kontrol sağlanıyor.

Makalelerin arXiv süreci

PRISM ve LARE makaleleri her ikisi de 23 Ekim 2026 tarihinde arXiv'e v1 sürümü olarak gönderilmiş. 27 Ekim 2026 tarihinde arXiv'de yayımlanan çalışmalar, PRISM PDF dosyası 3,979 KB, LARE PDF dosyası ise 822 KB boyutunda. PRISM makalesinde model boyutu veya token sayısı belirtilmemiş.

Neden önemli?

PRISM, eğitim sırasında üretim çeşitliliğini artırarak model çökmesi riskini azaltmayı hedefler. LARE ise veri maruziyetini değiştirmeden alanların kayıp ağırlıklarını ayarlayarak bilgi ve matematik performansını yükseltmeyi amaçlar.

Kaynak: arXiv — Machine Learning, arXiv — Machine Learning

Temsili görsel: Mumtaz Niazi / Pexels