Etiket: robots.txt nedir

robots txt nedir nasıl kullanılır

Robots.txt Nedir? Kullanımı Nasıldır?

Robots.txt nedir? Robots.txt web böceği (web spawler) yada web örümceği (web spider) gibi yazılımların web sitenizin kamuya açık bölümlerinin hepsine veya bir kısmına erişimini engellemeye yarayan bir standarttır. Genelde web sitelerini sınıflandırmak ve arşivlemek amacı ile arama…