Sitemizin robots.txt dosyası SEO için olmazsa olmaz dosyasıdır. Bu dosya arama motorlarının sitemizi ziyaret ettiğinde neleri dizinlemesine izin verdiğimizi onların analayacağı dille yazılmasıdır. Yapacağımız yanlış ayarlamalar sitenizin Google vb arama motorlarında yanlış gösterilmesine, istenmeyen sayfaların veya resimlerin indexlenmesine neden olacaktır. WordPress için uygun robots.txt dosyası oluşturma yazısı ile sizleri konu hakkında bilgilendirmeye çalışacağım.
Bu dosya yalnızca wordpress tabanlı sitelerde bulunmaz, web üzerinde yayınlanan tüm siteler için gerekli bir dosyadır. İçeriğinde sitemizin hangi kısımlarının robot denilen arama motorlarına gösterileceği mevcuttur. Ayrıca yönetici, site ziyaretçilerini ilgilendirmeyen içerik dosyaları, site ayar dosyaları gibi klasörler yapılacak ayarlamalarla engellenir.
Google, Bing, Yandex gibi bir arama motoru sitenizi ziyaret ettiğinde öncelikle bu dosyanın var olup olmadığına bakar, eğer var ise burada sizin verdiğiniz talimatlar doğrultusunda sitenizi arama sayfalarına ekler. Bu dosya sitenizin kök dizininde, yani en üst kısımda bulunmalıdır. Bu dosyayı notepad++ basit bir text editörü ile düzenleyebilirsiniz.
Öncelikle wordpress için optimize edilmiş örnek bir robots.txt dosyasını buraya koyacağım, daha sonra içeriğiyle ilgili biraz bilgi vermeye çalışacağım. Kodu kendi siteniz için de kullanmak isterseniz yazının en altında bulabilirsiniz.
En başta sitemap: şeklinde başlayan ve sitemizin haritasının yerini gösteren bir satır mevcuttur. Site haritası oluşturma yazımızı okuyarak site haritalarının ne işe yaradığı ve nasıl oluşturulacağı ile ilgili bilgi alabilirsiniz.
User-agent: * ise sitemize gelen tüm arama motorları için alt kısımda görünen ayarların geçerli olduğunu ifade etmiş oluyoruz. Daha sonrasında Disallow: şeklinde başlayan kısımlarda ise sonrasında yazılan klasörlerin aranmasına izin vermediğimizi belirtiyoruz. Bunlar genel olarak cgi-bin, wp-admin, wp-includes, wp-contents gibi temel dosyalar oluyor.
Eğer sitenizin hiçbir sayfasına izin vermek istemiyorsanız Disallow: / kelimesinden sonra bir klasör adı belirtmezseniz bunu sağlamış olursunuz.
Kullanmak isterseniz aşağıdaki kodu kopyalayıp robots.txt dosyasına yapıştırın. Yalnız ‘sitenizin-adı’ yazan kısmı kendi sitenizin adıyla değiştirmeniz gerekir.
Örnek robots.txt dosyası:
sitemap: http://www.sitenizin-adı.com/sitemap.xml User-agent: * Disallow: /cgi-bin/ Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /wp-content/ Disallow: /archives/ disallow: /*?* Disallow: *?replytocom Disallow: /wp-* Disallow: /author Disallow: /comments/feed/ User-agent: Mediapartners-Google* Allow: / User-agent: Googlebot-Image Allow: /wp-content/uploads/ User-agent: Adsbot-Google Allow: / User-agent: Googlebot-Mobile
Beğendiyseniz yazımızı paylaşarak daha fazla kişiye ulaşmasını sağlayabilirsiniz. Bilgi paylaştıkça çoğalır. İyi bloglamalar…
