arXiv'de bilimsel keşifte LLM ajanlarını test eden iki yeni araştırma
arXiv'de 30 Ekim 2026 tarihinde OpenFrontiers ve SciGame adlı iki yapay zeka araştırması yayımlanmış. Makaleler, büyük dil modellerinin bilimsel problem çözme ve keşif yeteneklerini ölçmeye yönelik yeni kaynaklar ve referans testler sunuyor.
Kısa Cevap
arXiv'de 30 Ekim 2026 tarihinde OpenFrontiers ve SciGame adlı iki yapay zeka araştırması yayımlanmış. OpenFrontiers, 12 bin 151 açık araştırma sorusu ve matematikteki 200 problemi içeren bir referans testi sunuyor; SciGame ise bilimsel literatürü yapılandırılmış kartlara dönüştüren ve orijinal ile karşıt dünya ortamlarını karşılaştıran bir denetimli test seti sunuyor. Her iki çalışma da LLM ajanlarının bilimsel problemleri çözme ve yasaları keşfetme yeteneklerini ölçmeyi amaçlıyor.
Bu yazıda öğrenecekleriniz
- OpenFrontiers, 12 bin 151 açık araştırma sorusunun kayıtlarını içeren yapılandırılmış bir korpus sunuyor.
- OpenFrontiers referans testi, 200 problemi barındırıyor; 110 tanesi 2026 yılında çözümlenmiş, 90'ı hala açık.
- OpenFrontiers değerlendirme protokolü, iki bağımsız denetleyici ile izole edilmiş bir sandboxta kapalı kitap, dondurulmuş erişim ve canlı web koşullarında formal kanıtları derecelendiriyor.
- Yedeki LLM ajanı standart bütçe altında HQ-50 alt kümesi üzerinde değerlendirildi ve kapalı kitap yeniden keşifte en fazla yedi problem yeniden keşfedildi.
- SciGame, bilimsel literatürü yapılandırılmış bilimsel kartlara dönüştürüyor ve her kart için orijinal ile boyut tutarlı karşıt dünya ortamları oluşturuyor.
arXiv'de 30 Ekim 2026 tarihinde yayımlanan iki yeni makale, büyük dil modellerinin bilimsel araştırma ve keşif süreçlerindeki performansını değerlendirmeye yönelik yeni kaynaklar ve test setleri tanıtıyor. Bu çalışmalar, LLM ajanlarının bilimsel problemleri çözme ve yasaları keşfetme yeteneklerini ölçmeyi amaçlıyor.
OpenFrontiers'in kapsamı ve test seti
OpenFrontiers, 12 bin 151 açık araştırma sorusunun kayıtlarını içeren yapılandırılmış bir korpus sunuyor. Referans testinde 200 problem bulunuyor; bunlardan 110 tanesi 2026 yılında çözümlenmişken, 90'ı hala açık. Her bir problem, Lean 4 ifadesiyle otomatik araçlar ve iki bağımsız inceleme ile kontrol ediliyor.
Değerlendirme protokolü ve sonuçlar
OpenFrontiers değerlendirme protokolü, iki bağımsız denetleyici ile izole edilmiş bir sandboxta kapalı kitap, dondurulmuş erişim ve canlı web koşullarında formal kanıtları derecelendiriyor. Yedeki LLM ajanı standart bütçe altında HQ-50 alt kümesi üzerinde değerlendirildi. Kapalı kitap yeniden keşif nadir; en fazla 40 çözümlenmiş problemden yedisi yeniden keşfedildi. Canlı web başarıyı çoğunlukla yayınlanan çözümlerin erişimine bağlıyor.
SciGame'in yapısı ve deneyleri
SciGame, bilimsel literatürü yapılandırılmış bilimsel kartlara dönüştürüyor. Her kart için orijinal ve boyut tutarlı karşıt dünya ortamları oluşturuluyor. Kanonik yasaları içeren Tarihsel ve model bilgi kesintisinden sonraki makalelerden oluşturulan Zamanla Değişen koleksiyonları içeriyor. Deneyler beş uç model üzerinde yapıldı ve üç bulgu ortaya koydu.
SciGame'den elde edilen bulgular
Bilinen önceden bilgiler, yöneten ilişki değiştiğinde performansı zararlı etkiliyor. Uyarlanabilir deney en güçlü modelleri yardım ederken zayıf olanları sınırlı bütçe altında zarar veriyor. İyi açıklamalar nicel başarısızlıkları gizleyebiliyor. Kesin sembolik formu geri kazanmak ana engel olarak kalıyor. Mevcut ajanlar sistemleri aktif olarak araştırabiliyor ancak yabana çıkan ayarlarda kesin yasaları çıkarmak hala açık bir zorluk.
Neden önemli?
Mevcut bilimsel keşif referans testleri, yasa çıkarmayı programlama ile karıştırıyor, görünmemiş girdiler üzerinden tahmin yerine veri uyumu puanlıyor ve emperik kanıtı önceden eğitimden gelen önerilerden ayırmıyor. Bu iki çalışma, bu sınırlamaları gidermek amacıyla bilimsel literatürü yapılandırılmış bilimsel kartlara dönüştürerek ve geniş bir araştırma problemi korpusunu formal olarak derecelendirilmiş bir değerlendirme alt kümesiyle bağlayarak araştırma düzeyinde yeniden keşfi ölçmeye dayanak oluşturuyor.
Kaynak: arXiv — Artificial Intelligence, arXiv — Artificial Intelligence
Temsili görsel: Monstera Production / Pexels
Sıkça Sorulan Sorular
OpenFrontiers referans testinde kaç problem var?
OpenFrontiers referans testinde 200 problem var.
SciGame deneylerinde kaç uç model kullanıldı?
SciGame deneylerinde beş uç model kullanıldı.
SciGame'in arXiv kimliği nedir?
SciGame'in arXiv kimliği 2610.37919 [cs.AI] olarak kaydedildi.
OpenFrontiers'in arXiv kimliği nedir?
OpenFrontiers arXiv kimliği 2610.37739 [cs.AI] olarak kaydedildi.
Kaynaklar
Bu içerik düzenli olarak gözden geçirilir. Son kontrol: 31 Ekim 2026 · Markdown sürümü
