LLM ajan distilasyonunda hiyerarşik on-policyness çerçevesi sunuldu
Ya Gao tarafından yazılan yeni bir araştırma, LLM ajanlarının eğitiminde öğretmen ve öğrenci politikalarının farklı seviyelerde nasıl birleştirileceğini inceleyen hiyerarşik bir ajan distilasyon çerçevesi sunuyor.
Yapay zeka ajanlarının eğitiminde öğretmen ve öğrenci politikalarının farklı seviyelerde nasıl birleştirileceğini inceleyen hiyerarşik bir ajan distilasyon çerçevesi sunulmuştur. Çalışma, etkileşim geçmişini oluşturan politikanın mevcut eylemin token önekini oluşturan politiğe göre farklı olabileceği yönünde iki seviyeli on-policyness'i biçimlendirmeyi öneriyor.
Çalışmanın kapsamı ve metodolojisi
Etkileşimli LLM ajanlarının distilasyonunda, öğretmen tarafından üretilen demolar off-policy, öğrenci tarafından üretilen deneyimler ise on-policy distilasyon olarak tanımlanmaktadır. Araştırma, bu iki yaklaşımın etkili kanıtlanmış olmasına rağmen ayrımın hiyerarşik bir yapıya sahip olduğu tartışıldığını vurguluyor. Çalışma, arXiv üzerinde Artificial Intelligence (cs.AI) konusu altında sunulmuş ve inceleme aşamasındadır.
Denemeler ve sonuçlar
Üç model ve dört etkileşimli ortam üzerinde üç aşamalı kontrollü bir çalışma gerçekleştirilmiştir. Çalışma, dondurulmuş öğretmenin göreve özgü rehberliğe erişebildiği ama öğrencinin erişemediği kendi-distilasyon yoluyla incelenmiştir. Bulgular, öğrenci tarafından oluşturulan geçmişler ile öğretmen tarafından üretilen eylem öneklerinin eşleştirilmesinin en güçlü tek başına eğitim sinyali sağladığını gösteriyor.
İki seviyede de öğrenciyi takip etmek (tam on-policy) genellikle en kötü performansı göstermektedir. Tam on-policy veriler, diğer yapılandırmalarla karıştırıldığında faydalı hale gelmektedir. Öğretmen/öğrenci oranlarının her iki seviyede de aynı olduğu karışımlar, seviyelerin nasıl eşleştirildiğine bağlı olarak önemli ölçüde farklı performanslar gösterebilmektedir.
Tam öğretmen tarafından oluşturulan bağlamların öne alınması ve tam on-policy bağlamların ertelenmesi, statik bir karışımın üzerindeki performansı iyileştirmektedir. Bulgular, ajan distilasyonunun nerede, ne kadar ve ne zaman öğrenciyi takip etmesi gerektiğine ilişkin pratik ilkeler sunmaktadır.
Neden önemli?
Makalenin ilk sürümü 22 Ekim 2026 tarihinde arXiv'e yüklenmiştir. Yayın tarihi 26 Ekim 2026 olarak belirtilmiştir. Çalışma, ajanın eğitim sürecinde öğrenciyi takip etmenin nerede, ne kadar ve ne zaman gerekli olduğu üzerine pratik ilkeler önermektedir.
Kaynak: arXiv — Artificial Intelligence
Temsili görsel: Google DeepMind / Pexels
Bu içerik düzenli olarak gözden geçirilir. Son kontrol: 26 Ekim 2026 · Markdown sürümü
