Robottxt kısa anlamı ile bir dosya türüdür Bu dosya şekli farklı birçok arama motorlarının sitenizde erişmemesi gereken yerleri göstermesi adına sitelere yerleştirilmiş olan bir kök dizin dosyasıdır Çok da büyük olmayan bir komut kısmına sahip olan ‘robotları engelleme standardı’ olarak Türkçe tabir ile bilinen bir standart kullanmaktadır Sistem bu komutlar ile çalışmaktadır
Her hangi bir siteye erişim noktasında masaüstü ya da mobil tarayıcıya göre değişikliğe uğrayarak hangi bölümlerin saklanması gerektiğini gösterir Site sahipleri bazı zamanlar sitenin bazı bölümlerine arama motorlarının erişimlerini istemezler Bilindiği üzere tüm arama motorları sitelere belli botlar ile giriş yaparak sitelerin içeriğine algoritmik bir yazılım eşliğinde kontrolünü yapar ve bu sayede sitenin arama motoruna eklenmesi ile birlikte aynı zamanda kaçıncı sırada çıkması gerektiğinin tahlilini yapar Bilindiği gibi SEO bazında, yani en fazla insana ulaşmak noktasında bu arama motorları botlarının siteler için büyük bir önemi vardır
6Robottxt Doğru Kullanımı ve Önemi
Arama motorlarında en üst sıralara çıkabilmek adına bu tür botlar sitelere giriş yaparak o siteyi belli bir sıralamaya sokar Bu her ne kadar önemli olsa da yine de site içerisindeki bazı kısımların bu botlara kapatılması da istenir Fakat eğer yanlış bir robottxt komut dizini verilirse o zaman SEO açısından sıkıntılı bir durum yaşanabilir Bu yüzden bu komut dizini doğru bir şekilde yapılmalıdır Aslına bakılırsa robottxt dosyası hazırlama aşamasında birçok dikkat edilmesi gereken husus bulunmaktadır Şimdi bunlara bir maddeler halinde bakalım
Robottxt dosyası mutlak suret ile sitenin kök dizinine eklenmiş olmalıdır
Her zaman UTF8 karakter kodlamasına uygun olarak hazırlanıp doğru bir şekilde yerleştirilmelidir
Robottxt dosyası mutlaka sitenin URL’si ile format olarak benzer bir şekilde olmasına dikkat edilmelidir
Bunların eşliğinde her sitenin kök dizininde robottxt dosyası kesinlikle bulunması bir mecburiyettir URL standardının yakalanmasına özen gösterilmelidir ve bir alt klasörde veya daha farklı bir dosyada olmamasına da dikkat edilmesi gerekmektedir
6Robottxt Nasıl Olmalı?
İlk olarak mutlaka bu dosya türü düz bir metin olarak hazırlanmalıdır Aynı zamanda sadece UTF8 olarak bir karakter kodlaması yapılmalıdır Bunun haricinde her hangi kodlama kullanılması yanlıştır Dosya her ne zaman isteniyorsa değiştirilebilir bir formatta sürekli düzenlenebilir bir şekilde hazırlanmış olması oldukça önemlidir Yani değişken bir yapıda olması yenilikler yapma fırsatı verebilir Kullanımda ise site içeriğinden hiçbir zaman kaldırılmaması gerekmektedir Her daim çalışır halde kalmalı ve kaldırılmamalıdır Site içerisinde gizli olarak tutulması ise büyük bir önem taşımaktadır Robottxt dosyası içerisinde bir takım belirlenmiş olan işlemleri yapabilmek adına bilinen bazı komutlar kullanılmaktadır Bunlara ise 3 farklı kategoride bakmak mümkündür
Grup komutları olarak geçen; dizin engelleme ya da izin verme, arama motoru engelleme ve izin verme ile birlikte, sayfa engelleme ve izin verme ve benzeri komutlar bulunmaktadır
Aynı zamanda grup dışı komutlar olarak; sitenin genel haritası belirtme Yorum ile notlar olarak da; değiştirilebilir olan bu dosya adına yorum ve notlar kısmıdır
6Robottxt Komutları Önemi
Bilindiği üzere SEO hizmetinin siteleri devam etmesi açısından büyük bir önemi bulunmaktadır Bu yüzden arama motoru botlarının sitenin gerekli kısımlarında dolaşmalarına büyük bir önem verilmelidir Bu yüzden robottxt dosyası hazırlanırken komut dizinlerine oldukça dikkat edilmeli ve ona göre belirlenmiş olan standart komutların dışına çıkmamak gerekmektedir Aksi takdirde bu botların ulaşması gereken yerlere kapalı hale getirilebilir Komutlar aynı zamanda kesin ve net ifadeler ile yazılmalıdır Yapılabilecek bir yazım hatası kodlamayı geçersiz kılabileceği bilinmeli
Her hangi bir siteye erişim noktasında masaüstü ya da mobil tarayıcıya göre değişikliğe uğrayarak hangi bölümlerin saklanması gerektiğini gösterir Site sahipleri bazı zamanlar sitenin bazı bölümlerine arama motorlarının erişimlerini istemezler Bilindiği üzere tüm arama motorları sitelere belli botlar ile giriş yaparak sitelerin içeriğine algoritmik bir yazılım eşliğinde kontrolünü yapar ve bu sayede sitenin arama motoruna eklenmesi ile birlikte aynı zamanda kaçıncı sırada çıkması gerektiğinin tahlilini yapar Bilindiği gibi SEO bazında, yani en fazla insana ulaşmak noktasında bu arama motorları botlarının siteler için büyük bir önemi vardır
6Robottxt Doğru Kullanımı ve Önemi
Arama motorlarında en üst sıralara çıkabilmek adına bu tür botlar sitelere giriş yaparak o siteyi belli bir sıralamaya sokar Bu her ne kadar önemli olsa da yine de site içerisindeki bazı kısımların bu botlara kapatılması da istenir Fakat eğer yanlış bir robottxt komut dizini verilirse o zaman SEO açısından sıkıntılı bir durum yaşanabilir Bu yüzden bu komut dizini doğru bir şekilde yapılmalıdır Aslına bakılırsa robottxt dosyası hazırlama aşamasında birçok dikkat edilmesi gereken husus bulunmaktadır Şimdi bunlara bir maddeler halinde bakalım
Robottxt dosyası mutlak suret ile sitenin kök dizinine eklenmiş olmalıdır
Her zaman UTF8 karakter kodlamasına uygun olarak hazırlanıp doğru bir şekilde yerleştirilmelidir
Robottxt dosyası mutlaka sitenin URL’si ile format olarak benzer bir şekilde olmasına dikkat edilmelidir
Bunların eşliğinde her sitenin kök dizininde robottxt dosyası kesinlikle bulunması bir mecburiyettir URL standardının yakalanmasına özen gösterilmelidir ve bir alt klasörde veya daha farklı bir dosyada olmamasına da dikkat edilmesi gerekmektedir
6Robottxt Nasıl Olmalı?
İlk olarak mutlaka bu dosya türü düz bir metin olarak hazırlanmalıdır Aynı zamanda sadece UTF8 olarak bir karakter kodlaması yapılmalıdır Bunun haricinde her hangi kodlama kullanılması yanlıştır Dosya her ne zaman isteniyorsa değiştirilebilir bir formatta sürekli düzenlenebilir bir şekilde hazırlanmış olması oldukça önemlidir Yani değişken bir yapıda olması yenilikler yapma fırsatı verebilir Kullanımda ise site içeriğinden hiçbir zaman kaldırılmaması gerekmektedir Her daim çalışır halde kalmalı ve kaldırılmamalıdır Site içerisinde gizli olarak tutulması ise büyük bir önem taşımaktadır Robottxt dosyası içerisinde bir takım belirlenmiş olan işlemleri yapabilmek adına bilinen bazı komutlar kullanılmaktadır Bunlara ise 3 farklı kategoride bakmak mümkündür
Grup komutları olarak geçen; dizin engelleme ya da izin verme, arama motoru engelleme ve izin verme ile birlikte, sayfa engelleme ve izin verme ve benzeri komutlar bulunmaktadır
Aynı zamanda grup dışı komutlar olarak; sitenin genel haritası belirtme Yorum ile notlar olarak da; değiştirilebilir olan bu dosya adına yorum ve notlar kısmıdır
6Robottxt Komutları Önemi
Bilindiği üzere SEO hizmetinin siteleri devam etmesi açısından büyük bir önemi bulunmaktadır Bu yüzden arama motoru botlarının sitenin gerekli kısımlarında dolaşmalarına büyük bir önem verilmelidir Bu yüzden robottxt dosyası hazırlanırken komut dizinlerine oldukça dikkat edilmeli ve ona göre belirlenmiş olan standart komutların dışına çıkmamak gerekmektedir Aksi takdirde bu botların ulaşması gereken yerlere kapalı hale getirilebilir Komutlar aynı zamanda kesin ve net ifadeler ile yazılmalıdır Yapılabilecek bir yazım hatası kodlamayı geçersiz kılabileceği bilinmeli