arXiv'de sürekli öğrenme ve dünya modelleri üzerine iki yeni çalışma

Ahanaf Hasan Ariq ve Amir Mesbah, Cornell University'de yürüttükleri iki ayrı araştırmayı arXiv üzerinden yayımladı. Çalışmalar, yapay öğrenme modellerinin sürekli adaptasyonunda unutmayı önlemeyi ve dünya modellerinde sıfır vuruşlu genelleme darboğazını incelemeyi hedefliyor.

Korunan davranış bütçesiyle adaptasyon

İlk çalışmada Certified Anchor-Based Adaptation (CABA) adı verilen bir yöntem tanıtıldı. CABA, aday bağımsız bir güncelleme sonrası kapı mekanizması olarak tanımlanıyor. Korunan davranışların bütçe aşımını önlemek amacıyla, bir modelin nasıl güncelleneceğiyle birlikte bu güncellemenin onaylanıp onaylanmayacağına karar verilmesi gerektiği vurgulanıyor.

Deneme sonuçları ve kabul durumu

CABA, UCI İnsan Aktivitesi Tanıma çalışmasında denendi. Bu denemede ortalama unutma oranı yüzde 1,01'den sıfıra indi. Aynı zamanda nihai ortalama doğruluk yüzde 93,04'ten yüzde 88,48'e düştü. Epsilon değeri 0,05 olarak belirlendiğinde ortalama unutma oranı yüzde sıfır olarak kaydedildi. Çalışma NeurIPS 2026 Sürekli Öğrenme Çalıştayı'nda kabul edildi.

Sıfır vuruşlu genelleme darboğazı

İkinci çalışmada sürekli pekiştirmeli öğrenme bağlamında dünya modellerinin sıfır vuruşlu genelleme darboğazı incelendi. Fiziksel bağlam değişiklikleri altında sıfır vuruşlu yeniden kullanımın önemli ölçüde bozulabildiği tespit edildi. Model tabanlı pekiştirmeli öğrenmenin, öğrenilen dünya modellerinin değişim tespiti, bilgi yeniden kullanımı ve uyarlama süreçlerini destekleyebilmesi nedeniyle umut vadi ettiği belirtiliyor.

Neden önemli?

Sürekli öğrenen yapay zeka modellerinin eski bilgileri unutmasını engelleme ve yeni ortamlara hızlı adapte olma sorunlarına yönelik akademik çözümler sunuluyor. Bu çalışmalar, model tabanlı pekiştirmeli öğrenmede dünya modellerinin daha güvenilir şekilde kullanılmasına katkı sağlayabilir.

Kaynak: arXiv — Machine Learning, arXiv — Machine Learning

Temsili görsel: Pixabay / Pexels