AKV: LLM ajanları için açık kaynaklı KV önbellek sistemi

Tsinghua Üniversitesi ve CUHK araştırmacıları tarafından geliştirilen AKV, büyük dil modeli ajanları için KV önbellek mühendisliği yapan açık kaynaklı bir servis sistemidir. SGLang üzerine kurulmuş olan sistem, model ağırlıklarını içermemektedir.

AKV, ajanların KV önbellek girdilerini seçici olarak bırakmalarına ve geri kalanını yeniden kullanmalarına olanak tanır. Bu sayede eski geçmişin sürekli özetlenmesi yerine, metin yolculuğu değiştirilmeden önbellek verimliliği arttırılmaktadır.

Append, Drop ve Repos işlemleri

Sistemde üç farklı önbellek işlemi tanımlanmıştır: Append, Drop ve Repos. Bu işlemler sayesinde KV önbellek girdileri esnek bir şekilde yönetilebilmektedir. Repos işlemi özellikle GPT-OSS-120B modelinde BrowseComp-Plus başarı oranını %55'ten %62'ye yükseltmiştir.

Performans ve maliyet sonuçları

GPT-OSS-120B, MiniMax-M2.7 ve MiroThinker-1.7-Mini modelleri üzerinde yapılan testlerde ortalama maliyet %27,7 azalırken ortalama görev skoru 1,7 puan artmıştır. KV önbellek okumaları toplam API maliyetinin %82,4'ünü oluşturmaktadır.

GPT-OSS-120B modelinde SWE-bench Verified maliyeti 20,0 centten 9,7 sente düşürülürken skor 40,0'den 43,2'ye yükseldi. BrowseComp-Plus testinde ise GPT-OSS-120B'nin başarı oranı %55'ten %62'ye, MiniMax-M2.7'nin skoru ise 58,9 olarak kaydedildi.

AKV, metin özetleme tabanlı Text Engineering yöntemine göre %21,9 daha düşük maliyet sunmaktadır. GPT-OSS-120B'de 96K token ve üzeri bağlamda AKV ile başarı oranı %37, Standard ile %24 ve Text Engineering ile %32 olarak ölçülmüştür.

Gecikme ve işlem hızı iyileştirmeleri

Çıkış işleme hızı 1,18x, giriş işleme hızı ise 1,53x iyileştirilmiştir. P95 istek gecikmesi 1,51x daha hızlıdır. Eşzamanlılık 16'da P95 gecikme süresi 229,90 saniyeden 30,63 saniyeye düşmüştür.

Tam dikkat süresi decode adım başına 7,082 ms'den 2,849 ms'ye düşmüştür. 100 görevde GPU bütesi altında geçiş süresi AKV'de yaklaşık %47, Standard'da %40,7 ve Text Engineering'de %32,3 olarak kaydedilmiştir.

Lisans ve destek

AKV kodu Apache-2.0 lisansı altında GitHub'da mevcuttur. Arayüz durumdurumasız ve OpenAI-uyumludur. Destek şu anda yalnızca Qwen, GPT-OSS ve MiniMax-M2 metin modelleri için verilmektedir.

Neden önemli?

AKV, LLM ajanlarında KV önbellek okumalarının toplam API maliyetinin büyük bir kısmını oluşturduğu noktada maliyet ve gecikme avantajı sunar. Apache-2.0 lisansıyla açık kaynak olarak paylaşılan sistem, SWE-bench Verified ve BrowseComp-Plus gibi testlerde ölçülebilir performans artışlarıyla öne çıkar.

Kaynak: The Batch / MarkTechPost

Temsili görsel: bsdrouin / Pixabay