Amazon Bedrock OpenAI prompt caching ile maliyet düşürülüyor

Amazon Web Services'in (AWS) Machine Learning blogunda 26 Ekim 2026 tarihinde yayınlanan yazı, AI ajanlarının her adımda tüm oturum geçmişini yeniden göndermesi nedeniyle ortaya çıkan 'Groundhog Day' etkisini açıklıyor. Bu durum, ajanların araç çağrı yaparken ve sonuçları okuyarak sonraki eylemi belirlerken modelin tüm geçmişi tekrar tekrar göndermesini gerektiriyor.

Yazıda, modelin istekler arasında dahili belleğe sahip olmadığı ve her seferinde tüm bağlamı tekrar okuması gerektiği vurgulanıyor. Örneğin 20. turda kodlama oturumunda model 1. ila 19. turları yeniden okurken, kullanıcı her bir token için tekrar ödeme yapıyor. Bu yüzden aynı bağlamın tekrar tekrar gönderilmesi, hem maliyeti artırıyor hem de yanıt süresini uzatıyor.

Prompt caching nasıl çalışıyor

Prompt caching, sistem talimatlarını, araçları ve geçmişi bir kez saklayarak sonraki isteklerde yeniden kullanılmasını sağlıyor. Ön bellekleme sırasında model her girdi tokenini işler ve anahtar-değer (KV) vektörlerini oluşturur; bu işlem modelin ilk tokeni yazmasından önce gerçekleşiyor. Prompt caching bu KV durumunu kaydeder ve aynı girdi tokenleriyle başlayan sonraki isteklerde kaydedilen durumu yükleyerek yeniden hesaplamayı önler.

Önbellekleme örtük (implicit) veya açık (explicit) olabilir. Amazon Bedrock hangi önbellekleme türünü seçebilir veya kod ile prompt_cache_breakpoint ile işaretlenebilir. İki yöntem birlikte kullanılabilir; örtük önbellekleme konuşmanın büyümesiyle birlikte yönetilirken, açık önbellekleme paylaşılan başlangıç noktası sağlar.

Örnek test ve teknik detaylar

Yazıda model='us.openai.gpt-6-astra' ve prompt_cache_key='support-agent:v7:gpt-6-astra' örnekleri verilmiştir. Bir testte yaklaşık 4.000 tokenlik araçlar ve talimatlar öneki ilk istekte 4.120 token yazılmış, sonraki isteklerde aynı 4.120 token okunmuştur. Önbelleğe alınacak statik önek en az 1.024 token olmalıdır. Önbellek TTL süresi 30 dakikadır.

Aynı metin tam olarak tekrar gönderildiğinde önbellekleme çalışır; tarih, kullanıcı adı veya istek kimliği gibi değişen içerik önbellek sınırının dışında tutulmalıdır. Yeni araç eklendiğinde ve alt ajanlar (subagents) oluşturulduğunda önbellekleme nasıl sürdürüleceği de gösterilmiştir. store=False ayarı konuşma geçmişini uygulamada bırakır ancak önbelleklemeyi devre dışı bırakmaz.

Neden önemli?

AI ajanlarının her adımda tüm geçmişi yeniden göndermesi, girdi token maliyetini artırır ve yanıt süresini uzatır. Prompt caching, bu bağlamın bir kez saklanıp yeniden kullanımını sağlayarak maliyet optimizasyonu ve daha tutarlı yanıtlar sunar.

Kaynak: AWS Machine Learning

Temsili görsel: Alexandra_Koch / Pixabay