arXiv'de iki yeni LLM rubrik makalesi yayınlandı

arXiv'de 31 Ekim 2026 tarihinde yayımlanan iki yeni yapay zeka makalesi, büyük dil modellerinin değerlendirilmesi ve eğitiminde rubriklerin rolünü ele alıyor. İki çalışma da farklı açıdan rubrik tabanlı değerlendirmeyi iyileştirmeyi hedefliyor.

İlk makalenin yazarı Ulyana Tkachenko. Bu çalışma, insan tercih etiketleri, rubrik anotasyonu veya generator-model eğitimi gerektirmeden ayrımcı rubrikler üreten bir iş boru hattı sunuyor. Rubricon adı verilen bu yöntem, herhangi bir LLM kullanılarak birden fazla rubrik örneği seçer ve en ayrımcı adayı belirler. Ayrıca gözden kaçan gereksinimleri veya yanıt hatalarını yakalamak için kriter ekler, yanlış hizalı veya yüzeysel kriterleri kırpar. LLM kendi eleştirisi ve test zamanında ölçeklendirme ile birlikte, örnek model yanıtlarında gözlenen kriter geçiş oranlarını kullanarak iyileştirmeyi yönlendirir.

Rubricon test sonuçları ve HealthBench karşılaştırması

Beş profesyonel, tüketici, klinik ve genel kullanım LLM testinde Rubricon tarafından üretilen rubriklerin skorları, emek yoğun uzman yazılı rubriklerle %9 daha fazla uyum gösteriyor. HealthBench üzerinde Qwen3.5-9B modelinin Rubricon rubrikleriyle eğitilmesi, en güçlü alternatif sentetik rubrik üreticisi olan RRD ile eğitilmeye göre %4,5 daha iyi performans sağlıyor.

CoCA çerçevesi ve co-evolution döngüsü

İkinci makalenin yazarı Chengsheng Zhang. Bu çalışma, açık uçlu üretim görevlerinde LLM'leri hizalamak için rubrik tabanlı pekiştirmeli öğrenmeyi yorumlanabilir ve ince ayrıntılı denetim altında sunuyor. CoCA adı verilen çerçeve, sorgu-yalnızca ve rubrik-yönlendirilmiş çıkışları karşılaştırarak her kriteri mevcut politika göre karakterize eder ve uyuşmayan zorlukta kriterleri yeniden kalibre eder.

CoCA, rehberlik açığa çıkaran yetenek boşluklarını sınır tabanlı öğrenme için tanımlar. Rubrik-kosullu sınırları genişletmek veya nitelikli kazanımları on-politika kendi-distilasyonu ile aktarmak arasında seçim yapar. Politikanın güncellenmesiyle birlikte yetenek tanısını iyileştirir ve daha güvenilir distilasyon sağlayarak co-evolution döngüsünü tamamlar. Rehberlik açığa çıkaran yeteneklerin sorgu-yalnızca davranışa içselleştirilmesini teşvik ederken yetenek bozulmasını azaltıyor.

Neden önemli?

Rubrikler, doğrulanabilir yanıt bulunmayan görevlerde ödül atamayı mümkün kılar ancak sıfırdan el ile üretmek maliyetlidir. Statik rubrik kriterleri doyabilir veya politikanın keşfinin ötesinde kalabilir, bu da ödül sinyallerini yeterince ayrımcı olmamasını sağlar. Bu durum, optimizasyon hedefi ile politikanın mevcut yetenek sınırı arasında kalıcı bir uyumsuzluğa neden olur.

Kaynak: arXiv — Artificial Intelligence, arXiv — Artificial Intelligence

Temsili görsel: Tima Miroshnichenko / Pexels