AKV: LLM ajanları için açık kaynaklı KV önbellek sistemi
Tsinghua Üniversitesi ve CUHK araştırmacıları, LLM ajanları için KV önbellek yönetimini iyileştiren AKV adlı açık kaynaklı servis sistemini SGLang üzerine çıkardı. Sistem, ortalama maliyeti %27,7 azaltırken görev skorunu 1,7 puan yükseltti.