John Mueller: Yaş doğrulama penceresi için robots.txt kullanımı uygun

Google'ın arama temsilcisi John Mueller, bir web sitesinin yasal olarak zorunlu kıldığı yaş doğrulama açılır penceresini Googlebot'tan engellemek için robots.txt kullanımının genellikle uygun olduğunu belirtti. Mueller, bu işlemi gerçekleştirmenin iki yolu olduğunu açıkladı: dış etki alanının robots.txt dosyasını kullanmak veya açılır pencereyi yükleyen belirli bir JavaScript dosyasını engellemek.

Engelleme yöntemleri ve dikkat edilmesi gerekenler

Mueller, açılır pencereyi sağlayan dış etki alanının robots.txt dosyasının taranmasını engellemenin, Googlebot'un kaynakları getirmesini ve render işlemi sırasında kullanmasını önleyebileceğini söyledi. İkinci yöntemde ise site sahibi, açılır pencereyi yükleyen belirli bir JavaScript dosyasını kendi robots.txt dosyasıyla engelleyebilir. Örneğin “load-verification-popup.js” gibi bir dosya kullanılıyorsa ve bu dosya engellenirse, script render sırasında yüklenmez.

Mueller ayrıca, bir JavaScript dosyasının birden fazla işlevi varsa bunu engellememeyi önerdi. Engellenen kaynaklar alınamazsa web sayfasının hala düzgün yüklenmesi gerektiğini vurguladı. Bu yaklaşım, reklam hizmetleriyle ilgili JavaScript dosyalarının engellenmesi ile benzer şekilde çalışır.

Neden önemli?

Google, geçmişte web sitelerinin JavaScript ve CSS dosyalarını indirmesini engellemeye izin vermemişti, ancak şu an bu konuda daha esnek bir tutum sergiliyor. Kritik kaynakları indirmesini engellemeye devam eden bazı siteler geçici olarak sıralamalarını kaybetmişti. Bu gelişme, web sitesi sahyalarına Googlebot tarafından render işlemi sırasında kullanılan kaynaklar üzerinde bazı kontrol sağlar.

Kaynak: WEB | Search Engine Journal

Temsili görsel: Firmbee.com / Pexels