SEO için Robots.txt: En Kapsamlı Kılavuz

BulutPress® içerik yönetim sistemi ile hazırlanan web sitelerinde, robots.txt dosyası, içine xml site haritası direktifi de eklenmiş olarak, otomatik olarak yaratılır ve sistem tarafından güncellenerek ihtiyaçlarınıza uygun şekilde çalışması sağlanır.

Robots.txt Dosyası Nedir ve Ne İşe Yarar?

Bir robots.txt dosyası, arama motorlarına web sitenizin etkileşim kurallarının ne olduğunu söyler. SEO yapmanın büyük bir kısmı, arama motorlarına doğru sinyalleri göndermekle ilgilidir ve robots.txt, tarama tercihlerinizi arama motorlarına iletmenin yollarından biridir.

2019’da robots.txt standardıyla ilgili bazı gelişmeler gördük: Google, Robots Hariç Tutma Protokolü için bir uzantı önerdi ve robots.txt ayrıştırıcısını açık kaynaklı hale getirdi.

• Google’ın robots.txt yorumlayıcısı oldukça esnektir ve şaşırtıcı derecede bağışlayıcıdır.
• Yönergelerin karıştırılması durumunda, Google güvenli tarafta yer alır ve bölümlerin kısıtlanmaması yerine sınırlandırılması gerektiğini varsayar.
• robots.txt dosyası, arama motorlarına hangi URL‘lere erişilmeyeceğini söyler.
• Arama motorları, web sitesini taramak için herhangi bir talimat olup olmadığını görmek için bir web sitesinin robots.txt dosyasını düzenli olarak kontrol eder. Bu talimatlara, direktif komutları adını veriyoruz.

Robots.txt dosyası yoksa veya geçerli yönergeler yoksa, arama motorları tüm web tasarımda bulabildiği tüm sayfaları tarar.

Tüm büyük arama motorları robots.txt dosyasına saygı gösterse de, arama motorları robots.txt dosyanızı (parçalarını) yok saymayı seçebilir. robots.txt dosyasındaki yönergeler arama motorları için güçlü bir sinyal olsa da, robots.txt dosyasının bir zorunluluktan ziyade arama motorlarına yönelik bir dizi isteğe bağlı yönerge olduğunu hatırlamak önemlidir.

Robots.txt, SEO evrenindeki en hassas dosyadır. Tek bir karakter bütün bir siteyi bozabilir.

Kevin Indig, SEO Direktörü, Shopify

Robots.txt Dosyası Terminolojisi: Robots.txt dosyası, robot dışlama standardının uygulanmasıdır veya robot dışlama protokolü olarak da adlandırılır.

Neden Robots.txt İle İlgilenmelisiniz?

Robots.txt, SEO açısından önemli bir rol oynar. Arama motorlarına web sitenizi en iyi nasıl tarayabileceklerini söyler. Robots.txt dosyasını kullanarak arama motorlarının web sitenizin belirli bölümlerine erişmesini engelleyebilir, yinelenen içeriği önleyebilir ve arama motorlarına web sitenizi nasıl daha verimli bir şekilde tarayabilecekleri konusunda yardımcı ipuçları verebilirsiniz. Yine de robots.txt dosyanızda değişiklik yaparken dikkatli olun: Bu dosya, web sitenizin büyük bölümlerini arama motorları için erişilemez hale getirme potansiyeline sahiptir.

Robots.txt, kopya içeriği azaltmak için genellikle gereğinden fazla kullanılır, dahili bağlantıları öldürür, bu nedenle ona gerçekten dikkat etmeniz gerekir. Tavsiyemiz, onu yalnızca arama motorlarının asla görmemesi gereken veya izin verilerek taramayı önemli ölçüde etkileyebilecek dosyalar veya sayfalar için kullanmaktır. Yaygın örnekler: birçok farklı url oluşturan oturum açma alanları, test alanları veya çok yönlü gezinmenin bulunabileceği yerler. Ayrıca robots.txt dosyanızı herhangi bir sorun veya değişiklik olasılığına karşı düzenli olarak kontrol ettiğinizden emin olun.

Robots.txt dosyalarıyla ilgili görünen sorunların büyük çoğunluğu üç bölüme ayrılıyor:

• Joker (wildcard *) karakterlerin yanlış kullanımı. Sitenin bloke edilmesi amaçlanan bölümlerinin engellendiğini görmek oldukça yaygındır. Bazen dikkatli olmazsanız direktifler de birbiriyle çelişebilir.
• Geliştiricilerden biri aniden bir değişiklik yapabilir (genellikle yeni kodları ya da sayfaları test ederken) robots.txt dosyasını sizin bilginiz dışında istemeden değiştirmiş olabilir.
• Bir robots.txt dosyasına ait olmayan yönergelerin dahil edilmesi. Robots.txt web standardıdır ve sınırları bellidir. Çoğu zaman geliştiricilerin işe yaramayacak direktifler oluşturduğuna tanık oluyoruz (en azından tarayıcıların büyük çoğunluğu için). Bazen bu zararsız bir işlemdir, bazen tahmin edemeyeceğiniz sonuçlar doğurabilir.

BulutPress® cms yazılımı robots.txt dosyasını kendisi ürettiğinden ve son kullanıcının insiyatifine bırakmadığından, yukarıda bahsettiğimiz hatalarla karşılaşma ihtimaliniz sıfırdır.

Bir e-ticaret web sitesi işlettiğinizi ve ziyaretçilerin ürünlerinizi hızlıca aramak için bir filtre kullanmak istediklerini düşünelim. Bu filtre, temelde diğer sayfalarla aynı içeriği gösteren sayfaları oluşturur. Bu yöntem, kullanıcılar için harika çalışabilir, ancak yinelenen içerik oluşturduğu için arama motorlarını açısından oldukça kötü bir uygulamadır. Arama motorlarının bu filtrelenmiş sayfaları dizine eklemesini ve filtrelenmiş içerikle bu URL’lerde tarama bütçesini boşa harcamasını istemezsiniz. Bu nedenle, arama motorlarının bu filtrelenmiş ürün sayfalarına erişmemesi için engelleme (disallow) kuralları oluşturmalısınız. BulutPress®’de filtreleme sayfaları robots.txt üzerinden otomatik olarak engellenmektedir.

Yazının devamı: https://bulut.press/robots-txt