WordPress için uygun robots.txt dosyası oluşturma

7
4699

Sitemizin robots.txt dosyası SEO için olmazsa olmaz dosyasıdır. Bu dosya arama motorlarının sitemizi ziyaret ettiğinde neleri dizinlemesine izin verdiğimizi onların analayacağı dille yazılmasıdır. Yapacağımız yanlış ayarlamalar sitenizin Google vb arama motorlarında yanlış gösterilmesine, istenmeyen sayfaların veya resimlerin indexlenmesine neden olacaktır. WordPress için uygun robots.txt dosyası oluşturma yazısı ile sizleri konu hakkında bilgilendirmeye çalışacağım.Bu dosya yalnızca wordpress tabanlı sitelerde bulunmaz, web üzerinde yayınlanan tüm siteler için gerekli bir dosyadır. İçeriğinde sitemizin hangi kısımlarının robot denilen arama motorlarına gösterileceği mevcuttur. Ayrıca yönetici, site ziyaretçilerini ilgilendirmeyen içerik dosyaları, site ayar dosyaları gibi klasörler yapılacak ayarlamalarla engellenir.

Google, Bing, Yandex gibi bir arama motoru sitenizi ziyaret ettiğinde öncelikle bu dosyanın var olup olmadığına bakar, eğer var ise burada sizin verdiğiniz talimatlar doğrultusunda sitenizi arama sayfalarına ekler. Bu dosya sitenizin kök dizininde, yani en üst kısımda bulunmalıdır. Bu dosyayı notepad++ basit bir text editörü ile düzenleyebilirsiniz.

Öncelikle wordpress için optimize edilmiş örnek bir robots.txt dosyasını buraya koyacağım, daha sonra içeriğiyle ilgili biraz bilgi vermeye çalışacağım. Kodu kendi siteniz için de kullanmak isterseniz yazının en altında bulabilirsiniz.

robots-txt-ornegi

En başta sitemap: şeklinde başlayan ve sitemizin haritasının yerini gösteren bir satır mevcuttur. Site haritası oluşturma yazımızı okuyarak site haritalarının ne işe yaradığı ve nasıl oluşturulacağı ile ilgili bilgi alabilirsiniz.

User-agent: * ise sitemize gelen tüm arama motorları için alt kısımda görünen ayarların geçerli olduğunu ifade etmiş oluyoruz. Daha sonrasında Disallow: şeklinde başlayan kısımlarda ise sonrasında yazılan klasörlerin aranmasına izin vermediğimizi belirtiyoruz. Bunlar genel olarak cgi-bin, wp-admin, wp-includes, wp-contents gibi temel dosyalar oluyor.

Eğer sitenizin hiçbir sayfasına izin vermek istemiyorsanız Disallow: / kelimesinden sonra bir klasör adı belirtmezseniz bunu sağlamış olursunuz.

Kullanmak isterseniz aşağıdaki kodu kopyalayıp robots.txt dosyasına yapıştırın. Yalnız ‘sitenizin-adı’ yazan kısmı kendi sitenizin adıyla değiştirmeniz gerekir.

Örnek robots.txt dosyası:

sitemap: http://www.sitenizin-adı.com/sitemap.xml
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /archives/
disallow: /*?*
Disallow: *?replytocom
Disallow: /wp-*
Disallow: /author
Disallow: /comments/feed/
User-agent: Mediapartners-Google*
Allow: /
User-agent: Googlebot-Image
Allow: /wp-content/uploads/
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Mobile

Beğendiyseniz yazımızı paylaşarak daha fazla kişiye ulaşmasını sağlayabilirsiniz. Bilgi paylaştıkça çoğalır. İyi bloglamalar…

PAYLAŞ
Mehmet HAKAN
Site kurucu ve yöneticisi, wordpress öğrenci ve öğreticisidir. Burada yazılan yazılar tamamen bilgilendirme amaçlıdır, amacı bildiklerini paylaşmaktır.

Kimler Neler Demiş?

7 Yorum - "WordPress için uygun robots.txt dosyası oluşturma"

Bildir
avatar
500
Sıralama:   En Yeniler | Eskiler | Beğenilenler
Ekrem ÖZDEMİR
Ziyaretçi

Merhabalar Mehmet hocam. Her yazınızla katlanarak bilgilenmeye devam ediyoruz. Sorum şu olacak. Benim bi robot.txt dosyam var ve Robots.txt içeriğini düzenle: kısmını tıkladığımda içeride görünen veri:
User-agent: *
Disallow: /wp-admin/
seklinde geçiyor. Ve daha önce de dediğim gibi sitem google da görünmüyor. Şimdi bu yazıda verdiğiniz en alttaki 1den 23e kadar ki tüm verileri aynen kopyalayıp robot.txt içeriğine gireyim mi?

Mehmet Hakan
Ziyaretçi

En üstte “sitemap” ile başlayan satıra dikkat edin,orada iste adını değiştirmeyi unutmayın.
İyi bloglamalar…

Mehmet36
Ziyaretçi

Merhabalar Hocam sizi daha yeni tanısamda yazınızı beğendim ama bişeyi anlamdım::
robots.txt dosyasını bir yere atmammız gerekiyormu???????
acil yardım

Mehmet Hakan
Ziyaretçi

Evet, sitenin kök dizinine göndermeniz gerekiyor.

Mehmet36
Ziyaretçi

saolun hocam
kolay gelsin

ahmet
Ziyaretçi

Hocam iyi güzel yazmışsınız da robots.txt dosyası yüzünden çoğu site index alamıyor ben bizzat şahit oldum.Bence robots.txt kullanılmamalı bırakın her şey indexlensin, eğer siz sitenin güvenliğini sağlarsanız admin sayfasına erişseler nolur ki.

wpDiscuz