Robots.txt dosyası sitenizdeki url veya dizinlerin arama motorları tarafından listelenip/listelenmeyeceği(teknik olarak indexleme olarak da geçer.) bilgisini veren dosyadır. Tüm arama motorlarını kapsayacak şekilde bilgide içerebilir. Farklı arama motorlarına farklı uygulama yapılacak şekilde de düzenlenebilir. Arama motoru robotları(botları) sitenize ulaştıklarında ilk bakacakları yer robots.txt dosyasıdır. Bu dosya sitenin ana dizininde bulunmalıdır. Robots.txt dosyası ile sağlanan bu işlevi Meta Taglar yardımıyla da yapabiliyoruz. Fakat Robots.txt dosyasının görevi sadece bu olduğundan dolayı mutlaka kullanılmalıdır.

Şimdi birkaç örnek ile bu dosyanın nasıl kullanılacağına göz atalım..
Devamını Oku