Robots.txt Nedir? Ne İşe Yarar ve Robots.txt Oluşturma

Robots.txt nedir?​

Arama motorları botlarının görevleri web sitelerinizi tarayıp arşivlerini oluşturarak arama sonuçlarında kullanıcılara sunmaktır. Bu botlar sitenize giriş yaptıktan sonra bütün dosyaları tek tek gezerek bütün sitenizin en ince içeriklerine kadar taramaktadır. Bu tarama esnasında sitenize ait olan yönetici giriş bölümlerini de taramaktadır ve bunun sonucunda da sitenizin yönetim panel vb. arama sonuçlarına indexlenebilir. Dolayısı ile böyle bir gelişme siteniz üzerinden açıklar verebilirsiniz anlamına gelmektedir. Robots.txt amacı da bundan dolayı işinize yarayan bot yönlendirme metin dosyasıdır.

Robots.txt ne işe yarar?​

Robots.txt oluşturma yaparak sitenizin indexlenmesi gereken bölümlerini yönlendirebilirsiniz. Wordpress kullanıcı iseniz sadece yazılar ve sayfaları indexletebileceğiniz gibi bu komutlar tüm web sayfa oluşturma platformlarında da geçerlidir. Kişisel yapmış olduğunuz basit bir HTML, CSS ile tasarlanmış sitenizin dahi robots.txt bulundurması faydanıza olacaktır. Robots.txt dosyası sitenizin açıklarını koruma amacı ile kullanabileceğiniz gibi ek olarak site indexlemesi yaparken istediğiniz bölümlerin arama motorlarına eklenmesini isteyebilirsiniz.

Robots.txt nasıl olmalıdır?​

Yanlış oluşturulmuş bir robots.txt dosyası sitenizin hiç index alamamasına sebep olabileceği gibi açık verilerek robots.txt oluşturma da sitenizin yönetim panelleri açısından güvenlik açıklarına neden olabilir. Bu konuda en sağlıklı robots.txt düzenleme yapabilmek için Google ait olan sayfasından yararlanabilirsiniz. İstekleriniz ve ihtiyaçlarınız doğrultusunda kısaca robots.txt dosyası nasıl olmalı cevabı verecek olur isek;

Wordpress kullanıcıları için;
User-agent: *
Allow: /
Disallow: /wp-admin/*
Disallow: /wp-login/*
Disallow: /cgi-bin/

Sitemap:

Blogger kullanıcıları için;
User-agent: *
Disallow: /search
Disallow: /search?q=
Allow: /

Sitemap:

yeterli olmaktadır. Sitenizin eğer ki Ahrefs, Alexibot, Moz’a ait olan dotbot gibi botlar tarafından taranmamasını istiyorsanız;
User-agent: Alexibot
Disallow: /
User-agent: AhrefsBot
Disallow: /
User-agent: DotBot
Disallow: /
User-agent: SemrushBot
Disallow: /

kodlarından faydalanabilirsiniz. Böyle kötü botları engellemeniz siteniz açısından oldukça faydalı olacaktır. Bu botlar sitenizi gezerek sayfalarınız hakkında bilgiler toplayarak kendi kullanıcılarına hizmet olarak ücret karşılığı sunmaktadır. Sitenizin içerikleri hakkında bilgi toplamaya çalışan bu botlar ayrıca hemen çıkma oranı gibi etmenleri etkilemektedir. Robots.txt düzenleme hakkında bilmemiz gereken temel bilgiler bu kadar iken daha detaylı bilgiler kullanıcıların ihtiyaçlarına göre değişiklik gösterebilmektedir.