Atakan Kademli

AKV: LLM ajanları için açık kaynaklı KV önbellek sistemi

Tsinghua Üniversitesi ve CUHK araştırmacıları, LLM ajanları için KV önbellek yönetimini iyileştiren AKV adlı açık kaynaklı servis sistemini SGLang üzerine çıkardı. Sistem, ortalama maliyeti %27,7 azaltırken görev skorunu 1,7 puan yükseltti.

2 dk okuma