Robots.txt ve sitemap nasıl kullanılır?
Arama motoru botlarına yol gösteren iki temel dosyayı doğru şekilde nasıl hazırlayacağını öğren.
5 dakika okuma
robots.txt: Kapıdaki tabela
robots.txt, sitenin kök dizininde bulunan ve botlara hangi bölümleri taramamaları gerektiğini söyleyen basit bir metin dosyasıdır.
Dikkat: Disallow bir sayfayı arama sonuçlarından kaldırmaz, yalnızca taranmasını engeller. Bir sayfayı sonuçlardan çıkarmak için “noindex” kullanılır.
Sitemap: Sitenin haritası
sitemap.xml, indekslenmesini istediğin sayfaların listesidir. Google’ın yeni ve güncellenen sayfaları daha hızlı bulmasına yardım eder.
- Sitemap’te yalnızca 200 dönen, indekslenebilir sayfalar olsun.
- Sitemap adresini robots.txt içinde “Sitemap:” satırıyla belirt.
- Search Console’a sitemap adresini gönder.