Robots.txt Dosyasının Kullanımı

robots.txtRobots.txt, sitenizdeki URL veya dizinlerin arama motorları tarafından listelenip/listelenmeyeceği bilgisini veren dosyadır. Tüm arama motorlarını kapsayacak şekilde de, arama motoruna göre de düzenlenebilir. Arama motoru robotları(botları) sitenize ulaştıklarında ilk bakacakları yer robots.txt dosyasıdır. Bu dosya sitenin ana dizininde, eğer klasöre özel tanımlama varsa klasörün içerisinde bulunulmalıdır. Robots.txt dosyası ile sağlanan bu işlevi Meta Taglar yardımıyla da yapabiliyoruz. Fakat Robots.txt dosyasının görevi sadece bu olduğundan dolayı bunun kullanılması tercih edilir.

Bu dosya genelde yönetim paneli gibi ziyaretçiyi ilgilendirmeyen gizli sayfaların arama motorları tarafından listelenmemesi için kullanılır.

Şimdi birkaç örnek ile bu dosyanın nasıl kullanılacağına göz atalım..

Tüm robotların sitenizin tamamını indexlemesini istiyorsanız;

User-agent: *
Disallow:

veya

User-agent: *
Allow: /

 

Tüm robotların sitenizin tamamını indexlenmesini engellemek istiyorsanız;

User-agent: *
Disallow: /

 

Sadece bir robot tarafından indexlenmesini engelleyip, diğerleri tarafından indexlenmesini istiyorsanız;

User-agent: Msnbot
Disallow: /
User-agent: *
Disallow:

 

Sadece bir dosyanın veya dizinin indexlenmesini engellenmesini istiyorsanız;

User-agent: *
Disallow: /dizin_adi/
Disallow: /dosya_adi.html

Sadece listelenmesi engellenecekleri belirtmeniz geri kalan tüm sayfa/dizinlerin listeleneceği anlamına gelir.

Sitemap dosyasının bildirimi;

Sitelerin sitemap dosyasını robots.txt dosyası yardımıyla arama motorlarına bildirebiliyoruz.

Sitemap: http://www.mustafayasar.net/sitemap.xml

 

Not: Bu komutları boş bir text(not defteri) dosyası oluşturup, içine yazıp/kopyalayıp ve dosyanın ismini “robots.txt” olarak belirledikten sonra ana dizine atmanız yeterli olacaktır. Burada birkaç örneğin mantığı kavramanıza yardımcı olacağını düşündüm. Eğer şu durumda nasıl bir komut yazmamız gerekir diye bir sorunuz olursa konu altına yorum olarak yazabilirsiniz.

Henüz Yorum Yapılmadı. İlk Yorumu Sen Yap!

Benzer İçerikler