arXiv'de MoE ve LLM verimliliği üzerine üç yeni araştırma makalesi

arXiv'de yayımlanan üç yeni araştırma makalesi, MoE tabanlı dil modellerinin bellek kısıtlamalı eğitimini, LLM çıkarım servislerinin gecikme tahminini ve Muon optimizatörünün MoE katman yük dengelemesini ele alıyor. Makaleler 27 Ekim 2026 tarihinde arXiv'e gönderilmiş, 30 Ekim 2026 tarihinde yayımlanmıştır.

LRMoE ile eğitim süresinin kısalması

LRMoE, sparse MoE modellerinde eşsiz yönlendirme nedeniyle oluşan hesaplama ve iletişim darboğazlarını gidermeye çalışıyor. Sistem, ileri geçiş sırasında kaynak kısıtlamaları altında tutma kotaları ve uzman yerleşimini planlayarak tüm yönlendirilmiş hesaplamaları koruyor. Geri yayılım sırasında ise her token-uzman çiftinin uzman güncellemesine katkısını tahmin eden bir yük yeniden kalibrasyon metriği kullanılıyor. Kapasiteye duyarlı yönlendirme algoritması, tutulan çiftleri orijinal uzmanlarının uygun örnekleri arasında dağıtıyor. Fiziksel sıkıştırma, daha küçük iletişim yükleri ve değişken boyutlu gruplanmış GEMM'ler oluşturuyor. Qwen3-30B-A3B ve GLM4.5-106B-A12B modellerinde yapılan deneylerde LRMoE, sabit kayıp hedefine ulaşma süresini SYMI'ye göre %21,2-%44,8 oranında azalttı. LRMoE dosya boyutu 5.166 KB'tir.

GAUSS ile çıkarım gecikme tahmini

GAUSS, LLM çıkarım servisleri için zaman-İlk-Token (TTFT) ve zaman-Ardışık-Tokenler (TBT) gecikme dağılımlarını tahmin ediyor. Simülatör, sürdürülebilir istek oranını da hesaplıyor ve işletim noktası seçimi, trafik segmentasyonu gibi soruları yanıtlıyor. GAUSS, iz tabanlı simülatörlerin sistematik olarak alt örneklediği gecikme kuyruklarını yakalıyor. GAUSS dosya boyutu 261 KB olarak kaydedildi.

Muon optimizatörü ve MoE katman yük dengelemesi

Çoğu açık MoE dil modeli eğitiminde Muon yerine AdamW kullanılıyor ve yük dengelemesi her uzmanın yönlendirme puanı üzerindeki bias ile sağlanıyor. Muon optimizatörü kullanan açık MoE dil modellerinde router yük dengelemesi için her adımda ayarlanan bias kullanılıyor. 55M ve 108M aktif parametreli modellerde Muon, ilk MoE katmanındaki bias aralığını her tohumda arttırdı ve ortalama olarak iki katına çıkardı. İlk 3.000 adımda, girişlerden parti ortalamasını çıkarmak aşırı yükü giderecek şekilde çalıştı ve kayıp üzerinde çok az etki bıraktı. Daha küçük modelde Muon öğrenme oranını yarılamak artışın çoğunu gördü ve kaybı biraz iyileştirdi. Yalnızca router'ı AdamW'ye taşımak, ısınma aşamasında yüklerin daha çok değişmesine ve kaybın biraz artmasına neden oldu. Bu ölçekte sonuçlar, router'ın Muon'da kalmasını tercih ediyor. Muon makalesinin dosya boyutu 1.270 KB'dir.

Neden önemli?

Sparse MoE modelleri, Web uygulamaları için ölçeklenebilir kapasite sunar ancak eşsiz yönlendirme hesaplama ve iletişim darboğazları yaratır. Mevcut yerleştirme ve çoğaltma yöntemleri iş yükünü yeniden dağıtmasına rağmen, ek uzman kopyaları sınırlı GPU belleğinde token ile ilgili arabelleklerle rekabet ediyor. LLM çıkarımı, gecikme hizmet seviye hedeflerine göre sağlanması, izlenmesi ve faturalandırılması gereken bir iş yükü haline geldi.

Kaynak: arXiv — Artificial Intelligence, arXiv — Artificial Intelligence, arXiv — Machine Learning

Temsili görsel: Tho-Ge / Pixabay