Küçük dil modelleriyle davranış tahmin mimarisi tanıtıldı

Kullanıcıların yardım istemeden önce etkileşim davranışlarında değişiklik göstermesi, sistemlerin gelecekteki yardım kullanımını tahmin etmesine olanak tanıyor. Yüksek riskli ortamlarda gecikmeli yardımın operasyonel, finansal veya güvenlik sonuçları doğurabileceği vurgulanıyor.

Çalışma, 23 Ekim 2026 tarihinde arXiv üzerinden gönderildi ve 2027 Uluslararası Yapay Zeka ve Uygulamalı Akıllı Sistemler Konferansı (AIAIS 2027) için kabul edildi. Konferans 22-24 Ocak 2027 tarihleri arasında Hong Kong'ta düzenlenecek.

ELBP mimarisi ve dört katmanlı yapısı

Evidence-Grounded Local Behavioral Prediction (ELBP) adlı dört katmanlı mimari, deterministik etkileşim işleme, çift-görünüm davranışlı temsil, SLM tabanlı tahmin ve kanıt doğrulaması ile erişimsizlik özelliklerini birleştiriyor. 3B parametre veya daha az olan üç talimat ayarlı model, ham, yapılandırılmış, çift-görünüm ve tam ELBP yapılandırmalarıyla değerlendirildi.

Performans sonuçları ve model boyutu

En iyi performansı gösteren model Qwen2.5-3B ile ELBP yapılandırması oldu. Bu yapılandırma tam veri setinde F1 skoru 0,80 ve PR-AUC 0,84 elde etti. Ham olay istemine göre %15,9 ve XGBoost'e göre %17,6 göreli iyileşme sağlandı. Tam veri setinde beklenen kalibrasyon hatası (ECE) ham olay istemine göre %43,2 azaldı.

Kanıt doğrulaması ve erişimsizlikle seçici F1 skoru %91 kapsamda 0,84'e yükseldi. Kanıt desteği %96 seviyesine ulaştı. Model parametre boyutu 3B veya daha az iken dosya boyutu 4,186 KB olarak belirlendi.

Neden önemli?

Yüksek riskli ortamlarda gecikmeli yardımın operasyonel, finansal veya güvenlik sonuçları doğurabileceği bağlamda, kullanıcıların yardım istemeden önce davranış değişikliğini tespit eden yerel bir mimari sunuluyor. Büyük dil modellerinin hesaplama ve bellek talepleri sürekli cihaz içi davranış tahmini için uygun olmaması, küçük dil modellerinin bu alanda kullanılmasını motive ediyor.

Kaynak: arXiv — Artificial Intelligence

Temsili görsel: Google DeepMind / Pexels