Google, Robots.txt Dosyalarında noindex Kullanımını Desteklemeyecek

enginozturk

Geliyorum..
Yönetici
Moderator

Üyelik Yaşı
7 Ay
Mesajlar
711
Tepki Puanı
768
Ödül
161
Konum
Eskişehir
Kuşkusuz dünya genelinde en fazla tercih edilen ve yüksek kullanım oranlarına sahip olan arama motoru Google yapmış olduğu son duyuruyla birlikte birçok Webmaster için önemli bir noktaya değindi. Google, ilerleyen süreçte robots.txt dosyası içerisinde yer alan ve sitenizde yer alan sayfaların arama motorlarınca indeks almasını engelleyen "noindex" yönergesini desteklemeyi durduruyor.

4154
Google resmi web yöneticisi blog sayfasında paylaşmış olduğu duyuruyla birlikte 1 Eylül 2019 tarihi itibariyle geçerli olacağını vurguladığı ve Google botlarına özel protokoller dışında yönergeleri desteklemeyi durduracağını belirtti. İlgili güncellemelerle birlikte ilk olarak desteğin çekileceği yönergenin ise noindex olacağı bildirildi.
Google Yönerge Güncelleme Duyurusu Neler İçeriyor?
"Sağlıklı bir ekosistemi sürdürmek ve gelecekteki açık kaynaklı yayınlar için hazırlık yapmak amacıyla, 1 Eylül 2019 tarihi itibariyle geçmişte desteği kesilmiş ve yayınlanmamış kuralları (noindex gibi) ele alan tüm kodları emekli ediyoruz.”

Google tarafından yapılmış bu açıklama içerisinde yer alan "yayınlanmamış kurallar" kavramına özellikle dikkat çekmesinin sebebi ise Google tarafından yayınlanan indeksleme kuralları içerisinde hiçbir zaman noindex kavramına yer verilmemiş olmasından kaynaklanıyor.
Peki, Robots.txt Dosyasında Kullanılan noindex Alternatifi Kullanımlar Nelerdir?
  1. Robot Meta Etiketlerinde noindex: HTML içerisinde yer alan meta etiketleri içerisinde noindex kullanmak sayfaları dizinden kaldırmanın en basit ve pratik yolu olarak görülüyor.
  2. 404 ya da 410 HTTP Durum Kodları: Bahsi geçen her iki durum kodu robotun ziyaret etmiş olduğu sayfanın bulunmadığını belirtir. Bu gibi sayfalar Google botları tarafından taranıp işlenmesi ardından dizinden kaldırılacaktır.
  3. Parola Koruması: Abonelik sistemleri ya da benzeri bir sistemin parola ile korunması ve arka planda yer alan sayfaların gizlenmesi halinde ilgili sayfalar genellikle Google dizininden kaldırılacaktır.
  4. Robots.txt Dosyasında Disallow Yönergesi: Google başta olmak üzere tüm arama motorları yalnızca bildikleri sayfaları dizine ekleyebilir. Bu sebeple, herhangi bir sayfanın taranmasının engellenmesi içeriğin dizine eklenemeyeceği anlamına gelecektir. Arama motorları zaman zaman farklı sayfalarda yer alan bağlantılara dayanarak ilgili sayfaları dizine ekliyor olsa da ilgili sayfaların içeriğini kendisi görmediği için eklenen bu sayfaların pek bir görünürlüğü olmamaktadır.
  5. Google Search Console URL Kaldırma Aracı: Google tarafından sunulan bir araç sayesinde URL ilgili arama sonuçlarında oldukça hızlı ve kolay bir şekilde kaldırılacaktır. Fakat, bu yöntem ile kaldıracağınız sayfalar geçici bir süreyle dizinden kalkacaktır.
Yazı içerisinde bahsetmiş olduğumuz ve kaynak aldığımız Google resmi webmasters blog sayfasında yer alan ilgili yazıya BURADAKİ bağlantıya tıklayarak kolayca ulaşabilirsiniz.
 

Üyelik Yaşı
7 Ay
Mesajlar
255
Tepki Puanı
42
Ödül
41
Makaleden tam olarak hiç bir şey anlamadım. Bundan sonra Google tüm sayfaları index'licek mi, ya bunu yapmıcak? Kafam karıştı resmen
 

enginozturk

Geliyorum..
Yönetici
Moderator

Üyelik Yaşı
7 Ay
Mesajlar
711
Tepki Puanı
768
Ödül
161
Konum
Eskişehir
Ozaman admin panelleri falan hep index alsın hacklesinler :D
Önce admin panelinin adresini öğrenmesi lazım botun herhangi bir yere bağlantı koyulmadığı sürece haberi olmayacaktır. Ayrıca disallow yönergesi ile halen Google botuna bu adresi görmezden gel diyebilirsiniz sadece index silme işlemi için noindex kullanılamayacak.
Makaleden tam olarak hiç bir şey anlamadım. Bundan sonra Google tüm sayfaları index'licek mi, ya bunu yapmıcak? Kafam karıştı resmen
Evet, tüm bağlantıları index olarak alacak fakat google botlarının yönergelerinde (öğrenmiş oldukları komutlarda) normal şartlarda noindex kavramı yok ekstra yönlendirme ile işleme alıyordu bunu kaldıracak ve Google tarafından söylenen komutlar ile işlem yapmanız istenecek. Bunun için kaldırılmasını istediğiniz sayfanın meta etiketleri arasına giriş yapmanız gerekiyor robots.txt dosyasına değil.
 

Son Eklenenler Yazılar

Üst
Bibors Borsa, Döviz ve Kripto para hakkında her şey.