Büyük yapay zekâ sağlayıcılarından ortak robots.txt standardı

Yapay zekâ ekosistemindeki önemli aktörler, içerik üreticilerinin ve web yöneticilerinin işini kolaylaştıracak yeni bir düzenleme için bir araya geldi. İnternet Mühendisliği Görev Gücü (IETF) bünyesindeki AIPREF çalışma grubunun yürüttüğü çalışmalar temel alınarak hazırlanan yeni taslak teklif doğrultusunda, önde gelen teknoloji şirketleri ortak bir mekanizmayı hayata geçirmeye hazırlanıyor. Bu kapsamda Google, Microsoft Bing, OpenAI ve Anthropic, web sitelerinin yapay zekâ eğitimi tercihlerini tek bir adımda ve ortak bir politika belirteci aracılığıyla yönetmesine olanak tanıyacak sistemi gönüllü olarak destekleyeceklerini duyurdu.

Yeni standart ve takvim detayları

Geliştirilen bu yeni sistem sayesinde web siteleri, robots.txt dosyaları üzerinden birden fazla yapay zekâ sağlayıcısına aynı anda eğitim tercihlerini bildirebilecek. Google Search Advocate John Mueller, bir web sitesinin robots.txt dosyasında bu politika belirtecini eğitimden çıkmak için kullandığında ve Google-Extended açıkça belirtilmediğinde, Google'ın bunu yayıncının Google-Extended'ı reddettiği şeklinde yorumlayacağını belirtti. Sistem, yayıncılar, sivil toplum kuruluşları ve düzenleyicilerden gelen sektör çapında kolay kontroller talebi doğrultusunda şekillendirildi ve AB Yapay Zekâ Yasası kapsamındaki düzenlemelerle uyumluluk gösteriyor.

Microsoft Bing için yeni kontroller

Microsoft Bing tarafında ise süreç takvimi netleşti. Microsoft Bing Principal Product Manager Krishna Madhavan, yayıncılara içeriklerinin eğitimi, arama dayanağı veya her ikisi için kullanılması konusunda seçim yapma imkanı tanıyan yeni ve daha net tercihler sunduklarını ifade etti. Bing Webmaster Tools içerisinde geçici grounding kontrolleri 15 Aralık 2026 tarihinde kullanılabilir hale gelecek. Microsoft'un yeni tercihleri tarama sürecinde dikkate almaya başlaması 1 Şubat 2027 olarak belirlenirken, eski direktifleri kullanan yayıncıların kısıtlamalarını korumak için yeni tercihleri yapılandırma son tarihi 1 Mart 2027 olacak. Geçici grounding tercihlerinin ise 30 Eylül 2027 tarihinde sona ermesi öngörülürken, Google'ın yeni kontrolü 2027 yılı içerisinde desteklemesi planlanıyor.

Neden önemli?

Yayıncıların yapay zekâ modelleri tarafından içeriklerinin taranmasını ve eğitilmesini her sağlayıcı için ayrı ayrı yönetmesi zorlu bir süreç yaratıyordu. Bu ortak IETF standardı, web sitelerine tek bir merkezden ve ortak bir politika belirteciyle kontrol imkânı tanıyarak sektörel uyumu artırmayı hedefliyor.

Kaynak: SEO Search Engine Roundtable, SEO Search Engine Roundtable

Temsili görsel: Markus Spiske / Pexels