# arXiv'de yayımlanan iki yeni makine öğrenmesi makalesi

> 30 Ekim 2026 tarihinde arXiv Machine Learning kategorisinde iki yeni makale yayınlandı. Bu çalışmalar, büyük dil modellerinin eğitimini daha verimli hale getirmeye odaklanıyor.

- URL: https://atakankademli.com.tr/blog/arxivde-yayimlanan-iki-yeni-makine-ogrenmesi-makalesi-hb2263
- Yazar: Haber Masası
- Yayın: 2026-10-31
- Güncelleme: 2026-10-31
- Kategori: Teknoloji

## Kısa Cevap

arXiv'de 30 Ekim 2026 tarihinde yayımlanan iki yeni makine öğrenmesi makalesi, büyük dil modellerinin eğitimini daha verimli hale getirmeyi hedefliyor. İlk makale veri kısıtlamalı ölçeklendirmede hiperparametre aktarımı ve ensemble önerirken, ikinci makale Bi-Phase Training adlı parametre verimli ön-eğitim yöntemini sunuyor.

## Önemli Çıkarımlar

- Ethan Baron tarafından yazılan ilk makale, veri kısıtlamalı ölçeklendirmede mevcut önerilerin iki önemli sınırlaması olduğunu belirtiyor.
- 100M tokenlik FineWeb verisiyle eğitilen yeni reçete, önceki reçetelere göre doğrulama kaybını 0,15 nat azaltıyor ve karmaşıklıkta %14 düşüş sağlıyor.
- Abel Gurung tarafından yazılan ikinci makale, Bi-Phase Training (BPT) adlı parametre verimli ön-eğitim yöntemini tanıtıyor.
- 1,5B ölçekte BPT, %66 daha az eğitilebilir parametre kullanıyor ve doğrulama karmaşıklığında sadece küçük bir boşluk bırakıyor.
- Her iki makale de arXiv Machine Learning (cs.LG) kategorisinde yayımlanmış ve DOI üzerinden erişilebilir durumda.

arXiv Machine Learning (cs.LG) kategorisinde 30 Ekim 2026 tarihinde iki yeni makale yayımlandı. Bu çalışmalar, büyük dil modellerinin eğitimini daha verimli hale getirmeyi hedefliyor. Her iki makale de FineWeb veri seti üzerinde denemeler içeriyor ve arXiv üzerinden erişime sunuluyor.

## Veri kısıtlamalı ölçeklendirme üzerine ilk çalışma

Ethan Baron tarafından yazılan ilk makale (arXiv:2610.37842), veri kısıtlamalı ölçeklendirmede mevcut önerilerin iki önemli sınırlaması olduğunu belirtiyor. Geçmiş çalışmalar, ağırlık bozunumu gibi ana hiperparametreleri ölçekle sabit tutuyor ve ensemble'i görmezden geliyor. Bu sınırlamalar, önceki reçetelerin hesaplama bütçesi arttıkça kaybın artmasına neden olmasına yol açıyor.

Yeni makale, hiperparametre aktarımı için güç yasaları ve ensemble ile hesaplama tahsisi için ölçeklendirme yasaları uyuyor. 100M tokenlik FineWeb verisiyle eğitilen yeni reçete, önceki reçetelere göre doğrulama kaybını 0,15 nat azaltıyor ve karmaşıklıkta %14 düşüş sağlıyor. Ensemble ile hesaplama bütçesi arttıkça monoton iyileşme elde ediliyor. Kazanımlar, daha küçük çalışmalara uygun reçetelerle elde edilmiş ve 12 kat daha büyük hesaplama bütçesiyle doğrulanmış.

## Bi-Phase Training üzerine ikinci çalışma

Abel Gurung tarafından yazılan ikinci makale (arXiv:2610.37934), Bi-Phase Training (BPT) adlı parametre verimli ön-eğitim yöntemini tanıtıyor. BPT, tam parametre optimizasyonunda gözlenen yüksek sıralı öğrenme dinamiklerini çok daha az eğitilebilir parametreyle koruyor.

Her ağırlık güncellemesi, eğitilebilir diyagonal matrisler ve düşük sıralı adaptörlerin birleşimi olarak parametreleştiriliyor ve güncellemeler dondurulmuş taban ağırlıklarına periyodik olarak birleştiriliyor. BPT, Qwen2.5 modelleri (100M'dan 1,5B parametreye) ve OLMo-2-1B üzerinde FineWeb-Edu (10B ve 100B token) ile ön-eğitimden başlayarak denendi. 1,5B ölçekte BPT, %66 daha az eğitilebilir parametre kullanıyor ve doğrulama karmaşıklığında sadece küçük bir boşluk bırakıyor. Çeşitli aşağı akış görevleri kapsamlı bir değerlendirmesi, BPT'nin tam parametreli modelin aşağı akış performansının büyük bir kısmını koruduğunu gösteriyor.

## Yayın ve erişim bilgileri

İkinci makale, Findings of AACL-IJCNLP 2026 olarak yorumlanıyor. Her iki makale de arXiv Machine Learning (cs.LG) kategorisinde yayımlanmış ve DOI üzerinden erişilebilir durumda.

## Neden önemli?

Artan hesaplama bütçeleri, yüksek kaliteli eğitim verisinin büyümesini geçiyor, bu nedenle büyük dil modelleri hem hesaplama hem de veri kısıtlamalarıyla eğitilmek zorunda. Ön-eğitim temel modellerin ölçeklendikçe hesaplama açısından maliyetli hale gelmesi, parametre verimli yöntemlere ihtiyaç doğuruyor. Bu çalışmalar, veri kısıtlamalı ölçeklendirme ve parametre verimli ön-eğitim alanında yeni çözümler sunuyor.

Kaynak: [arXiv — Machine Learning](https://arxiv.org/abs/2610.37842), [arXiv — Machine Learning](https://arxiv.org/abs/2610.37934)

Temsili görsel: [Boskampi / Pixabay](https://pixabay.com/photos/programming-html-css-javascript-1873854/)

## Sıkça Sorulan Sorular

### İlk makalenin yazarı kimdir?

İlk makalenin yazarı Ethan Baron'dur.

### İkinci makalede hangi yöntem tanıtılıyor?

İkinci makalede Bi-Phase Training (BPT) adlı parametre verimli ön-eğitim yöntemi tanıtılıyor.

### 1,5B ölçekte BPT kaç yüzde daha az eğitilebilir parametre kullanıyor?

1,5B ölçekte BPT, %66 daha az eğitilebilir parametre kullanıyor.

### Makaleler hangi kategoride yayımlanmış?

Her iki makale de arXiv Machine Learning (cs.LG) kategorisinde yayımlanmış.

## Kaynaklar

- [Improving Data-Constrained Scaling with Hyperparameter Transfer and Ensembling](https://arxiv.org/abs/2610.37842)
- [Bi-Phase Training: Learning Efficiently From Scratch](https://arxiv.org/abs/2610.37934)