Özellikle ziyaret etmesini istemediğiniz botlar varsa kullanılan bu unsur genellikle Google gibi arama motorlarının web sitenizdeki belirli sayfaları görmesini engellemek için kullanılır. Sunucunun Google’ın taramasından etkilenmesini istemezsiniz veya önemsiz veya tekrar eden sayfa konumlarını taramasını istemezsiniz. Ya da bakıma almak isteyeceğiniz bazı sayfalar olacaktır. Bu sayfaları Google taradığında boş ve hiçbir değeri olmadığını anlayacağı için olumsuz olarak değerlendirecektir. Bunun, gizlemek istediğiniz ancak Google’da görmek istemediğiniz sayfaları veya bilgileri gizlemenin de iyi bir yolu olduğunu düşünebilirsiniz. Bu dosyaya sahip olmak önemli olsa da, onsuz siteniz çalışmaya devam edecek ve genellikle taranıp dizine eklenecektir. Kötüye kullanım web sitenizin sıralamasını etkileyebileceğinden, web sitenizin SEO yapması için önemli bir neden. Sitenizin üst sıralarda çıkmasını istiyorsanız ve taranmasını istemediğiniz sayfalar varsa mutlaka robots.txt dosyasına ihtiyacınız olacaktır.
İçindekiler
Robots.txt Nedir
Günümüz internet sitelerinin olmazsa olmazlarından bir tanesi olan Robots.txt, web sitenizin kök dizininde bulunan bir metin dosyasıdır. Arama motoru tarayıcılarına, tarama ve dizine ekleme işlemi sırasında hangi sayfaları taraması ve dizine eklemesi talimatını verir. Arama motorlarının nasıl çalıştığına dair bir önceki satırı okuduğunuzda ufak bir bilgiye sahip olacaksınız, tarama ve indeksleme aşamasında, arama motorlarının normal web üzerinde dizine eklenebilecek sayfaları bulmaya çalışmaktadır.
Bir web sitesini ziyaret ederken, yapmaları gereken ilk şey robots.txt dosyasının içeriğini aramak ve kontrol etmektir. Dosyada belirtilen kurallara dayalı olarak, taranabilen ve ardından belirli web siteleri için dizine eklenebilen bir URL listesi oluştururlar. Bu listeye göre tarama işlemlerini başlatan Google botları için robots.txt büyük önem taşır.
Robots.txt kullanmak neden faydalıdır?
Genel bir tabirle faydalarından bahsedecek olursak, Robots.txt dosyasını kullanarak, arama motoru robotlarının dizine eklemesini istemediğiniz dizinleri yasaklayabilirsiniz. Örneğin, / cgi-bin /, / scripts /, / cart /, / wp-admin / gibi dizinler ve hassas veriler içerebilecek diğer dizinler.
- Web sitenizdeki bazı dizinler, makalelerin veya web sayfalarında yinelediğiniz içerikler olabilir ya da çok daha iyisini yayınladığınız olabilir. Arada kalıyor ve birini seçmek istiyorsanız Robotx.txt ile bir tanesini engelleyebilirsiniz.
- Arama motoru robotlarından web sitenizdeki ana içeriği dizine eklemelerini isteyebilirsiniz.
- Bunu sadece içerik olarak değil farklı yollarda da yapmak mümkün. Örneğin arama motorlarının dizindeki komut dosyaları, kişisel veriler veya diğer hassas veri türlerini içerebilen belirli dosyaları endekslemesini önleyebilirsiniz. Wpadmin gibi WordPress‘e girmenizi sağlayan giriş kaynaklarını engellemenizi öneririz.
Neden Robots.txt Kullanmalısınız?
Kişisel verilerinizi web sitesinde barındırmak istiyorsunuz fakat Google botlarının bunları tarayarak indekslememesini istiyorsanız, botların özel klasörlerinizi kontrol etmesini önlemek, onları bulmayı ve indekslemeyi daha zor hale getirecektir.
- Kontrol kaynakları: Sitenizde hergün aktif olarak içerik yayınladığınızda botlar sürekli olarak sitenizi ve sayfanızın her bölümünü indekslemeye başlayacaktır. Bir robot sitenizde her gezindiğinde, bant genişliği ve diğer sunucu kaynaklarını tüketir. Örneğin, çok miktarda içeriğe ve çok sayıda sayfaya sahip bir site için, bir e-ticaret sitesi binlerce sayfaya sahip olabilir ve bu kaynakları tarayabilmek için Google daha çok bot gönderecektir. Robotların tek tek komut dosyalarına ve görüntülere erişmesini zorlaştırmak için robots.txt dosyasını kullanabilirsiniz.
- Site haritanızın konumunu belirtin: Bu çok önemli bir noktadır, tarayıcılara site haritanızı tarayabilmeleri için nerede olduğunu bildirmek isteyebilirsiniz.
Yinelenen içeriği SERP’lerden çıkartın: Botlara kurallar ekleyerek, tarayıcıların yinelenen içeriğe sahip sayfaları dizine eklemesini önleyebilirsiniz.
Robotst.txt dosyası oluşturma ?
WordPress kullanıyorsanız robots.txt dosyası genellikle web sitesinin kök klasöründe bulunur.
Dosyaları görüntülemek ve düzenlemek için, bir FTP istemcisi veya cPanel dosya yöneticisi kullanarak sitenize bağlanmanız gerekecektir. Bir düz metin düzenleyiciyle daha çok bu bağlamda metin belgesi kullanılmaktadır.
Web sitenizin kök dizininde robots.txt dosyası yoksa bir dosya oluşturabilirsiniz.
- Bilgisayarınızda yeni bir metin dosyası oluşturun ve bunu robots.txt olarak kaydedin
- Web sitenizin kök klasörüne yükleyin
- Bu işlem biraz karışık olabilir fakat daha kolay bir şekilde halletmek istiyorsanız, robots dosyalarını oluşturmak ve düzenlemek için
- Robots.txt Düzenleyicisi gibi eklentileri kullanabilirsiniz.
Mutlaka göz atın => SEO Uyumlu Makale En İyi Nasıl Yazılır?
Özel Robots.txt Örnekleri
- User-agent: *
- Allow: /
- Sitemap: https://example.com/sitemap.xml
Genellikle kullanıcılar tarafından kullanılan robots.txt dosyası bu şekildedir fakat wpadmin gibi seçeneklerin de eklenmesi sizin için iyi olacaktır. Bu, tüm botların web sitenize herhangi bir engel olmadan erişmesine izin verir. Ayrıca, arama motorlarının bulmasını kolaylaştırmak için site haritası konumunu belirtir.
Yalnız bir tarayıcıya izin vermek istiyorsanız;
User-agent: Googlebot-news
Allow: /
User-agent: *
Disallow: /
Bir tarayıcıyı hariç diğer tüm tarayıcılara izin vermek;
User-agent: Unnecessarybot
Disallow: /
User-agent: *
Allow: /
Eğik çizgi koyduktan sonra tek bir sayfayı taramasına izin vermek;
User-agent: * Disallow: /private_file.html
Google Görseller’in taramasını engellemek;
User-agent: Googlebot-Image
Disallow: /
AdSense reklamları gösterilsin, ama sitenizin hepsi taranmasın;
User-agent: *
Disallow: /
User-agent: Mediapartners-Google
Allow: /
