Sitenizin arama motorlarındaki yazılımlara hangi bölümlerin dizinlerine

ekleme yapılacağı, hangi dizinlerin taranacağı ve hangi arama motoru yazılımlarına giriş izni verileceği gibi durumlar Robots.txt komut dosyası ile gerçekleştirilir. Arama motorları ilk olarak sitelerdeki bu dosyayı tarar ve verilen komutlara göre izin verilmiş olan bölümleri otomatik olarak tarayarak dizine ilave eder.

Kısaca özetlemek gerekirse Robots.txt komut dosyası sitelerin giriş kapısını kontrol eden bir dosyadır. Sitenizin hangi arama motorlarında görünmesini istiyorsanız bu komut dosyasını kullanarak belirleyebilirsiniz. Bu komut dosyası ve içerisindeki komutlar doğru bir şekilde yapılandırıldığında arama motoru robotları komotlardaki kurallara uygun bir şekilde sitenizde tarama gerçekleştirir. Tüm bu işlemler ise Robotları Engelleme Standardı olarak kabul edilir.

Tüm web sitelerinde mutlaka Robots.txt dosyasının bulunması gerektiğini de belirtelim. Sitenizin diğer sitelere göre daha aktif ve başarılı bir şekilde hizmet vermesini istiyorsanız bu dosyanın mutlaka doğru bir şekilde yapılandırılmış olması gerekir. Bu konuya dikkat edilmemesi arama motorlarının kuralsız bir şekilde farklı dizinleri taramasına neden olabilir. Bu nedenle Robots.txt dosyasını doğru bir şekilde yapılandırmanız gerekir.

Robots.txt Dosyası Ve Komutları Nasıl Anlaşılır?

Yukarıda da belirttiğimiz gibi Robots.txt dosyası bazı kriterlere dikkat edilerek oluşturulmalıdır. Dosya tamamlandıktan sonra da aynı şekilde internet sitenizin kök dizinine doğru bir şekilde eklenmelidir. Sitenizin kalitesi için son derece önem arz eden Robots.txt dosyası hazırlarken özen gösterilmesi gereken en önemli konular ise şunlardır;

- URL formatı ile Robots.txt dosyasının formatlarının aynı olması gerekir.

- Robots.txt dosyasının mutlaka internet sitesinin kök dizininde yer alıyor olması gerekir.

- UTF-8 karakter kodlamasına uygun bir şekilde Robots.txt dosyasının hazırlanması gerekir.

Bunun dışında dosyanın url'sinin standart olması ve dosyanın oluşturulma aşamasında farklı bir kategoride bulunmaması gerektiği Robots.txt dosyası hazırlarken dikkat edilmesi gereken diğer konulardandır. Aşağıdaki alanda Robots.txt dosyasının doğru ve yanlış kullanımını görebilirsiniz.

Doğru kullanım: http://searchengine.com/robots.txt

Yanlış kullanım: http://searchengine.com/main/robots.txt

Robots.txt dosyası hazırlarken dikkat edilmesi gereken bir diğer konu ise dosyanın düz ve sade bir metinden oluşması gerektiğidir. Karakter kodlaması olarak ise mutlaka UTF-8 karakter kodlaması kullanılmalıdır. Dosyanın en önemli özelliği ise dinamik bir yapıya sahip olmasıdır. Bu sayede dosyanın içeriğini istediğiniz zaman değiştirebilirsiniz.