Robots.txt Oluşturucu
Taranmasını istemediğin alanları kapat, sitemap adresini bildir.
Hazır şablon
Not: Googlebot Crawl-delay talimatını dikkate almaz.
robots.txt
User-agent: * Disallow: Sitemap: https://ornek.com/sitemap.xml
Sonuçlar nasıl yorumlanır?
- Dosyayı sitenin kök dizinine (ornek.com/robots.txt) yükle.
- Disallow bir sayfayı indeksten kaldırmaz; yalnızca taramayı engeller.
Sık sorulan sorular
Tüm siteyi yanlışlıkla kapatabilir miyim?
Evet, “Disallow: /” tüm siteyi kapatır. Oluşturucu bu durumda seni uyarır.
İlgili araçlar
Canonical ve İndeks Kontrolü
Canonical, robots meta ve X-Robots-Tag ile sayfanın indekslenip indekslenemeyeceğini gör.
Aracı KullanHTTP Durum ve Yönlendirme
Bir adresin durum kodunu ve yönlendirme zincirini adım adım gör.
Aracı KullanSitemap ve Robots.txt Kontrolü
robots.txt ve sitemap.xml dosyalarının varlığını ve içeriğini kontrol et.
Aracı Kullan