Robots.txt dosyası sitenizdeki url veya dizinlerin arama motorları tarafından listelenip/listelenmeyeceÄŸi(teknik olarak indexleme olarak da geçer.) bilgisini veren dosyadır. Tüm arama motorlarını kapsayacak ÅŸekilde bilgide içerebilir. Farklı arama motorlarına farklı uygulama yapılacak ÅŸekilde de düzenlenebilir. Arama motoru robotları(botları) sitenize ulaÅŸtıklarında ilk bakacakları yer robots.txt dosyasıdır. Bu dosya sitenin ana dizininde bulunmalıdır. Robots.txt dosyası ile saÄŸlanan bu iÅŸlevi Meta Taglar yardımıyla da yapabiliyoruz. Fakat Robots.txt dosyasının görevi sadece bu olduÄŸundan dolayı mutlaka kullanılmalıdır.

Åžimdi birkaç örnek ile bu dosyanın nasıl kullanılacağına göz atalım..

Tüm robotların sitenizin tamamını indexlemesini istiyorsanız;

User-agent: *
Disallow:

Veya

User-agent: *
Allow: /

Tüm robotların sitenizin tamamını indexlenmesini engellemek istiyorsanız;

User-agent: *
Disallow: /

Sadece bir robot tarafından indexlenmesini engelleyip, diğerleri tarafından indexlenmesini istiyorsanız;

User-agent: Msnbot
Disallow: /
User-agent: *
Disallow:

Sadece bir dosyanın veya dizinin indexlenmesini engellenmesini istiyorsanız;

User-agent: *
Disallow: /dizin_adi/
Disallow: /dosya_adi.html

Sadece indexlenmesi engellenecekleri belirtmeniz geri kalan tüm sayfa/dizinlerin indexleneceÄŸi anlamına gelir.

Not: Bu komutları bos bir text(not defteri) dosyası oluÅŸturup içine yazarak/kopyalayarak ve dosyanın ismini “robots.txt” olarak belirledikten sonra ana dizine atmanız yeterli olacaktır.

Burada birkaç örneÄŸin mantığı kavramanıza yardımcı olacağını düÅŸündüm. EÄŸer ÅŸu durumda nasıl bir komut yazmamız gerekir diye bir sorunuz olursa konu altına yorum olarak yazabilirsiniz.