arXiv'de iki yeni yapay zeka makalesi yayımlandı

arXiv'de 26 Ekim 2026 tarihinde iki farklı yapay zeka makalesi yayımlanmış. Bu çalışmalar, dil modellerinin geliştirilmesine yönelik yeni yaklaşımları kapsıyor.

DELA çerçevesi diffusion dil modellerine odaklanıyor

İlk makale, diffusion dil modelleri için DELA adlı kontrol edilebilir taslak iyileştirme çerçevesini tanıtıyor. DELA, donuk bir model üzerinde taslak düzenlemesi sağlayan bir eklenti çerçevesidir. Çerçeve, temiz ve değişken uzunluktaki taslaklar üzerinde Insert, Delete, Remask ve Stop adlı dört açık düzenleme eylemi kullanıyor. Kontrolör, ne zaman ve nerede düzenleme yapılacağını belirlerken, donuk DLM maskeleye bağlı bölgeleri denoising ile dolduruyor.

DELA, hızlı ve sadece ekleme yapabilen bir taslaklama aşaması ile KV-önbellek yeniden kullanımını destekleyen iki aşamalı bir kodlama prosedürü kullanıyor. İkinci aşama olan küresel iyileştirme, tam taslak üzerinde hedefli ve tek yönlü olmayan düzenlemeleri mümkün kılıyor. DELA'nın denetleyicisi, sentetik kurtarma görevlerinden ve kaliteyi artıran madencilik eylemlerinden elde edilen yerel düzenleme ön bilgilerini öğrenmek için aşamalı bir müfredatla eğitiliyor. Matematiksel akıl yürütme ve kod üretimi deneylerinde DELA, doğrudan diffusion kodlamaya göre en fazla 5,5 yüzde puan kazanıcı sağlıyor. DELA, arka plan modelini donuk tutarak modüler bir draft düzeyinde açık kontrol sağlıyor.

Döngüsel dil modellerinde derinlik ve normalizasyon tartışması

İkinci makale, döngüsel dil modellerinde derinliğin yeniden kullanılabilirliğini normalizasyon yerine eğitim ve çıkarım döngüsü arasındaki uyumla sağlanabileceğini öne sürüyor. Döngüsel dil modelleri, bir katman bloğunu tekrar tekrar uygular ve tasarımın ödevi, döngü adımlarının eğitilen bütçenin ötesinde çıkarım sırasında kullanılabilir olabilmesidir.

Yayınlanan Ouro modelleri, döngü sınırı arasında durumu normalize eder ve bu normalizasyonun çıkarım sırasında parametre eklemeden kaldırılabileceği ve bir döngü adımında kimlik işlevi gördüğü belirtiliyor. Döngü sınırı normalizasyonunun kaldırılması, Ouro-1.4B ve Ouro-2.6B modellerini eğitilen bütçede sıfır doğruluğa getiriyor ve denge ikili bir görevde şans seviyesi 0,500'dür. Durum norm büyümesi, önceki hesapların öngördüğü hata nedeni değil; norm 2,021 faktörü içinde kalırken baş tek bir yanlıştona bağlanıyor.

Sıfırdan eğitilen 19M parametreli modellerde, iki sentetik görevde 16 tohumlu yapılandırma ile normalizasyon olmadan eğitim, normalizasyonla eğitime karşı daha iyi veya eşit sonuç veriyor ve bütçenin iki tarafında ayrılıyor. Hasar, okuma yolu ile bloğun son katmanında yer alıyor; donuk döngü üzerinde başı yeniden uyarlamak kaybolan doğruluğun bir kısmını geri kazanırken, son bloğu katmanınıyla birlikte yeniden uyarlamak tüm doğruluğu geri kazanıyor. Döngüsel ve katmanlı derinlik karşılaştırması, eğitilen bütçenin eşleşmemiş aşırı atımı nedeniyle karıştırılabilir; eşleşen aşırı atımda döngüsel avantaj bir görevde kaybolur ve diğerinde daralıyor.

Yazarlar ve değerlendirme süreci

DELA makalesinin yazarı Xinsong Feng, döngüsel dil modelleri makalesinin yazarı ise Ivan Viakhirev olarak arXiv'den gelen e-postada belirtildi. İkinci makale ICLR 2027'de değerlendirilmekte.

Neden önemli?

arXiv platformunda aynı gün yayımlanan iki makale, dil modellerinin geliştirilmesinde farklı teknik yolların keşfedilmesini gösteriyor. DELA çerçevesi diffusion dil modellerinde kontrol edilebilir taslak düzenlemeyi hedeflerken, ikinci çalışma döngüsel dil modellerinde derinlik yeniden kullanılabilirliğini normalizasyon yerine döngü uyumu üzerinden ele alıyor. Her iki çalışma da yapay zeka ve makine öğrenmesi alanında teknik geliştirmeler içeriyor.

Kaynak: arXiv — Artificial Intelligence, arXiv — Machine Learning