arXiv'de iki yeni makine öğrenmesi makalesi yayımlanmış

arXiv'de 26 Ekim 2026 tarihinde yayımlanan iki yeni makine öğrenmesi makalesi, yapay zeka alanında farklı ölçekleme yaklaşımlarıyla dikkat çekiyor. Bu çalışmalar, arXiv'e 22 Ekim 2026 tarihinde sunulmuştur.

Sentetik veri yeniden yazımı için ölçekleme yasası

İlk makalenin yazarı Nicholas Roberts'tir ve arXiv:2610.31867 numarasıyla kaydedilmiştir. Makale, dil modellerinin eğitim verilerini yeniden yazarken harcanan işlem gücünü ve sentetik veri oranını optimize eden bir ölçekleme yasası öneriyor. PDF boyutu 1.639 KB'dir.

İşlem sınırlı ayarlamada, doğal veri bol ve yeniden yazımlar üçüncü taraf bir yeniden yazıcıdan geldiğinde, bu yeniden yazıcı en büyük çalışmadan daha fazla işlemle eğitilmiştir. Tahmini optimal yeniden yazma oranı işlemle birlikte artar: 3×10^18 FLOPs'ta %10'dan az, 10^22 FLOPs'ta %32'ye çıkar. Yeniden yazıcının eğitim işlem gücü oranı on birinde (1/10) olarak belirtilmiştir.

Ölçekleme tahmini, 33 kat FLOPs artışıyla 22B parametreli bir modeli eğitmeyi öngörür ve bu modelin son kaybı tahminin %1,1'i içinde kalır. Bu model, yeniden yazıcının eğitim işlem gücünün on birinde olduğu birkaç web alanında yeniden yazıcıdan daha iyi bit başına kelime (BPB) elde eder. Veri sınırlı ayarlamada, sabit bir tohum doğal veri kümesi ve aynı boyutta bir yeniden yazıcı varsayılır; optimal yeniden yazma oranı işlem bütçesiyle birlikte artar. Kendi ön eğitim verilerinin yeniden yazımlarıyla eğitilen bir model, aynı boyuttaki bir yeniden yazıcı tarafından üretilirse, her model boyutunda doğal veri ile yapılan en iyi çalışmayı yener (3B'ye kadar).

Transformer tabanlı enerji tabanlı modeller ve görüntü sentezi

İkinci makalenin yazarı Jungsoo Lee'dir ve arXiv:2610.31889 numarasıyla kaydedilmiştir. Makale, Transformer mimarisiyle enerji tabanlı modelleri yüksek boyutlu görüntü sentezi için ölçeklendiriyor. PDF boyutu 6.600 KB'dir.

Enerji tabanlı modeller (EBM), olasılık modellemesini üretim sürecinden ayırır ve bu da kompozisyonel üretim ile çıkış zamanı ölçeklendirmesini doğrudan mümkün kılar. Yüksek boyutlu örnekleme zorlukları ve derin mimarilerdeki eğitim kararsızlıkları, EBM'leri düşük boyutlu rejimlerle sınırlamıştır. Yeni Transformer Enerji Tabanlı Model (TEM), tamamen latent uzayda çalışan ölçeklenebilir bir transformer enerji işlevidir.

TEM, birden fazla katmandan enerji çıkarır ve bunları toplayarak yerel doku küresel semantik aralığındaki tamamlayıcı kısıtlamaları birleştirir. Pozitif Temsil Hizalama (PRA), TEM'nin ara temsillerini bir görüntü vakıf modeliyle denetler. Gelişmiş örnekleme stratejileri çıkış zamanında örnek kalitesini iyileştirir.

TEM-XL, sınıf koşullu ImageNet 256×256 üzerinde sınıflandırıcı serbest rehberlik olmadan FID-50K 3,82 başarıyor. ImageNet 512×512 üzerinde TEM, FID-50K 8,24 elde ederek yaklaşımın daha yüksek çözünürlüklere ölçeklendiğini gösteriyor. Çalışma, kompozisyonel üretim, sıfır-shot boya doldurma ve dış-dağıtım tespiti gibi EBM'nin temel vaatlerini doğruluyor.

Neden önemli?

Bu çalışmalar, yapay zeka modellerinin eğitim verilerini nasıl optimize edebileceğini ve yüksek boyutlu görüntü sentezini nasıl ölçeklendirebileceğini gösteriyor. Sentetik veri kullanımının ölçeklenebilirliği ve enerji tabanlı modellerin daha yüksek çözünürlüklere genişletilmesi, alan için önemli adımlar olarak değerlendirilebilir.

Kaynak: arXiv — Machine Learning, arXiv — Machine Learning

Temsili görsel: geralt / Pixabay