Son zamanlarda okurlarımızdan biri, SEO’yu iyileştirmek için robots.txt dosyasının nasıl optimize edileceğine dair ipuçları istedi. Robots.txt dosyası, arama motorlarına web sitenizi nasıl tarayacağını söyler. Bu yazıda, SEO için mükemmel bir robots.txt dosyası oluşturmayı göstereceğiz.
Robots.txt dosyası nedir?
Robots.txt, web sitesi sahiplerinin arama motoru botlarına sitelerinde nasıl gezinileceğini ve dizine ekleneceğini anlatmak için oluşturabilecekleri bir metin dosyasıdır. Genellikle web sitenizin ana klasörü olarak da bilinen kök dizinde saklanır. Bir robots.txt dosyasının temel formatı şuna benzer:
User-agent: [user-agent ismi]
Disallow: [izin verilmeyen url]
User-agent: [user-agent ismi]
Allow: [izin verilen url]
Sitemap: [site haritası urlsi]Belirli URL’lere izin vermek veya vermemek ve birden fazla site haritası eklemek için birden fazla talimat satırınız olabilir. Bir URL’ye izin vermezseniz, arama motoru botları, taramaya izin verdiklerini varsayar. İşte bir robots.txt örnek dosyası neye benzeyebilir:
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Sitemap: https://example.com/sitemap_index.xmlYukarıdaki robots.txt örneğinde, arama motorlarının WordPress uploads klasöründeki dosyaları taramasına ve dizine eklemesine izin verdik.Bundan sonra, arama botlarının eklentileri ve WordPress yönetici klasörlerini taramasını ve indekslemesini engelledik.Son olarak, XML site haritasının URL’sini belirttik.
WordPress Siteniz için Robots.txt Dosyasına mı ihtiyacınız var?
Bir robots.txt dosyanız yoksa, arama motorları web sitenizi hala tarar ve dizine ekler. Ancak, arama motorlarına hangi sayfaları veya klasörleri taramaması gerektiğini söyleyemezsiniz.
Bir bloğa ilk kez başladığınızda ve çok fazla içeriğiniz olmadığında, bunun pek bir etkisi olmaz.Ancak, web siteniz büyüdükçe ve çok fazla içeriğiniz olduğunda, web sitenizin nasıl tarandığı ve dizine eklendiği konusunda daha iyi bir kontrol sahibi olmak istersiniz.İşte nedeni bu.
Arama botlarının her web sitesi için bir tarama kotası var. Bu, bir gezinme oturumu sırasında belirli sayıda sayfayı taradıkları anlamına gelir. Sitenizdeki tüm sayfaları taramayı tamamlamazlarsa, geri dönecekler ve bir sonraki oturumda taramaya devam edecekler. Bu, web sitenizin indeksleme oranını yavaşlatabilir. Bunu, arama botlarının WordPress yönetici sayfalarınız, eklenti dosyalarınız ve tema klasörünüz gibi gereksiz sayfaları taramaya çalışmasını engelleyerek düzeltebilirsiniz. Gereksiz sayfalara izin vermeyerek, tarama kotanızı korursunuz. Bu, arama motorlarının sitenizde daha fazla sayfa taramasına ve mümkün olduğunca hızlı bir şekilde dizine eklemesine yardımcı olur.
İdeal bir Robots.txt dosyası nasıl olmalıdır?
Birçok popüler blog çok basit bir robots.txt dosyası kullanır. İçeriği, belirli sitenin gereksinimlerine bağlı olarak değişebilir:
WordPress siteleri için robots.txt dosyasında aşağıdaki kuralları öneririz:
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xmlBu, arama botlarına tüm WordPress resimlerini ve dosyalarını endekslemesini söylüyor. Arama botlarının WordPress eklenti dosyalarını, WordPress yönetici alanını, WordPress benioku dosyasını ve bağlı kuruluş bağlantılarını indekslemesini engeller. Robots.txt dosyasına site haritaları ekleyerek, Google botların sitenizdeki tüm sayfaları bulmasını kolaylaştırırsınız.
Robots.txt Dosyanızı Nasıl Test Edersiniz?
Robots.txt dosyanızı oluşturduktan sonra, bir robots.txt test aracı kullanarak test etmek her zaman iyi bir fikirdir. Dışarıda birçok robots.txt test aracı var, ancak Google Arama Konsolu’ndaki aracı kullanmanızı öneririz .
Google Arama Konsolu hesabınıza giriş yapın ve daha sonra eski Google arama konsolu web sitesine geçin.Bu sizi eski Google Arama Konsolu arayüzüne götürür. Buradan, ‘Tara’ menüsü altındaki robots.txt test aracını başlatmanız gerekir. Araç, web sitenizin robots.txt dosyasını otomatik olarak alır ve varsa hataları ve uyarıları vurgulayacaktır.