arXiv'de LLM ajan iş yükü yönetimi için iki yeni test kriteri
Araştırmacılar Erle Zhu ve Zijie Liu, arXiv'de yayımlanan iki çalışmada LLM ajanlarının dinamik iş yüklerini yönetme yeteneklerini ölçen AOS-Bench ve AgentOrch adlı iki yeni test kriterini sundu.
Kısa Cevap
arXiv'de yayımlanan AOS-Bench ve AgentOrch test kriterleri, LLM ajanlarının dinamik iş yüklerini yönetme yeteneklerini değerlendirmeye yönelik yeni araçlar sunuyor. AOS-Bench paylaşılan işlemci ve bellek sınırları altında görev teslimini ölçerken, AgentOrch kurumsal iş akışlarında küresel orkestrasyonu adım adım etkileşimle karşılaştırıyor.
Bu yazıda öğrenecekleriniz
- AOS-Bench, bir ajan sistemini iş yükü yöneticisi olarak değerlendirir ve doğrulanmış görevler zamanla gelerek paylaşılan CPU ve bellek sınırları altında teslim edilmelidir.
- Ağır iş yüklerinde her sistem 13 ila 23 puan kaybeder, orta iş yüklerinde ise tek başına başarıda 11 puan, akış başarıında 26 puan aralık vardır.
- AgentOrch, 650 kurumsal SOP ve 3.220 çalışma zamanı varyantı üzerinde küresel orkestrasyon ile adım adım etkileşimi karşılaştırır.
- Artımlı iş akışı oluşturma Global doğruluğunu ortalama 9,98 puan, hedefli eğitim ise ortalama 12,18 puan artırır.
- Küresel orkestrasyon, daha az LLM çağrısıyla daha yüksek doğruluk sunan kurumsal ajanlar için umut verici bir yol sunar.
LLM ajanlarının dinamik iş yüklerini yönetme yeteneklerini ölçmek amacıyla iki yeni test kriteri tanıtıldı. arXiv üzerinden yayımlanan çalışmalar, ajanların tek bir görev yerine zamanla gelen ve birbiriyle çakışan görevleri nasıl yönettiğini değerlendirmeye odaklanıyor.
AOS-Bench ile iş yükü yönetimi testi
Erle Zhu tarafından geliştirilen AOS-Bench, bir ajan sistemini iş yükü yöneticisi olarak değerlendiriyor. Doğrulanmış görevler zamanla geliyor ve paylaşılan CPU ve bellek sınırları altında teslim edilmelidir. Aynı görevlerin tek tek çalıştırılması sistem başına referans olarak kullanılıyor.
Beş model-arayüz çiftinde, tek başına görev başarı ağır iş yüklerinde eşit şekilde devam etmiyor. Ağır iş yüklerinde her sistem 13 ila 23 puan kaybediyor. Orta iş yüklerinde sistemler tek başına başarıda 11 puan aralıkta iken akış başarıında 26 puan aralıkta. İzolasyonda 0,6 puan farkı olan iki sistem aynı görevlerin %54 ve %68'ini teslim ediyor. Seri gönderimle talep etmeyen ağır iş yükü görevi oranı %73 olarak belirlenmiş. Sabit iki eşzamanlılık, orta ve ağır iş yüklerinde en iyi ajan yönetilen politikanın dört puan içinde kalmasını sağlıyor. Görevlerin beklerken her politikanın altında medyan CPU kullanımı sağlanan çekirdeklerin %30'unun altında kalıyor.
AgentOrch ile küresel orkestrasyon karşılaştırması
Zijie Liu tarafından geliştirilen AgentOrch, 650 kurumsal SOP ve 3.220 çalışma zamanı varyantı üzerinde küresel orkestrasyon ile adım adım etkileşimi karşılaştırıyor. Adım adım etkileşim, her değerlendirilen model için daha doğru sonuç veriyor. Erken modellerden en güçlü son modele kadar boşluk yaklaşık %79 daraldı. Artımlı iş akışı oluşturma, Global doğruluğunu ortalama 9,98 puan artırıyor. Çalıştırma geri bildirimiyle tam iş akışlarının revize edilmesi, tüm değerlendirilen modeli iyileştiriyor ve tutulmayan çalışma zamanı varyantlarında 6,13 puan artışı sağlıyor. Tam iş akışları üzerinde hedefli eğitim, tüm beş eğitilen modelde ortalama 12,18 puan doğruluk artışı sunuyor.
Her iki çalışma da arXiv'de 27 Ekim 2026 tarihinde yayımlanmış. AOS-Bench'in v1 sürümü 23 Ekim 2026'da, v2 sürümü 27 Ekim 2026'da gönderilmiş. AgentOrch'in v1 sürümü ise 24 Ekim 2026'da gönderilmiş.
Neden önemli?
Kodlama ajanları tek bir isteği yerine getirmekten geçerek kalıcı asistanlar haline geliyor. Mevcut test kriterleri her görevi izolasyonda değerlendirdiği için dinamik iş yükü yönetimi yeteneğini ölçemiyor. Küresel orkestrasyon, daha az LLM çağrısıyla daha yüksek doğruluk sunan kurumsal ajanlar için umut verici bir yol olarak öne çıkıyor.
Kaynak: arXiv — Artificial Intelligence, arXiv — Artificial Intelligence
Temsili görsel: Jakub Zerdzicki / Pexels
Sıkça Sorulan Sorular
AOS-Bench neyi ölçer?
AOS-Bench, bir ajan sistemini iş yükü yöneticisi olarak değerlendirir ve doğrulanmış görevlerin zamanla gelerek paylaşılan CPU ve bellek sınırları altında teslim edilmesini ölçer.
AgentOrch hangi unsurları karşılaştırır?
AgentOrch, 650 kurumsal SOP ve 3.220 çalışma zamanı varyantı üzerinde küresel orkestrasyon ile adım adım etkileşimi karşılaştırır.
Küresel orkestrasyonun avantajı nedir?
Küresel orkestrasyon, daha az LLM çağrısıyla daha yüksek doğruluk sunan kurumsal ajanlar için umut verici bir yol sunuyor.
Kaynaklar
Bu içerik düzenli olarak gözden geçirilir. Son kontrol: 30 Ekim 2026 · Markdown sürümü
