WordPress Robots.txt Optimizasyonu için Eksiksiz Kılavuz

Yepyeni bir WordPress sitesi oluşturmak, site tasarımından içerik stratejilerine kadar tonlarca şeye dikkat etmeyi gerektirir. Yine de, SEO için doğru şekilde optimize etmezseniz, web sitesine harcadığınız tüm çabalar meyve vermeyecektir.

En kritik SEO faktörlerinden biri robots.txt'e geliyor. İçeriğinizin arama motorlarında hızlı bir şekilde sıralanabilmesi için arama motorlarının WordPress sitenizi taramasına yardımcı olur.

WordPress, sayfalarınızın ve yayınlarınızın her biri için otomatik olarak bir robots.txt dosyası oluştursa da, web sitenizin SEO'sunu yükseltmek için onu optimize etmeniz gerekir. Aslında, WordPress robots.txt dosyasını optimize etmek düşündüğünüz kadar kolay değil. Dosyada çok fazla değişiklik yapmak sitenizin SEO'suna zarar verebilir.

Bugünkü makalemiz size WordPress robots.txt dosyanızı oluşturmanın 2 yolunu ve onu nasıl etkili bir şekilde optimize edeceğinizi gösterecek. Ancak adım adım kılavuzu incelemeden önce, robots.txt dosyasının gerçekte ne olduğunu, siteniz için neden bir dosyaya ihtiyacınız olduğunu ve bazı WordPress robots.txt örneklerini tartışalım.

• WordPress Robots.txt Dosyası Nedir?
• WordPress Sitesinde Robots.txt Dosyasının Önemi
• Hangi İçeriklere İzin Verilmemeli veya Noindex
• WordPress'te Robots.txt Dosyası Nasıl Oluşturulur ve Gönderilir
• WordPress Robots.txt Dosyanızı Nasıl Optimize Edebilirsiniz?
• WordPress Robots.txt Örnekleri
• WordPress Robots.txt Dosyanızı Nasıl Test Edebilirsiniz?

WordPress Robots.txt Dosyası Nedir?

Robots.txt, arama motoru botlarının hangi WordPress site içeriğinizi tarayıp dizine ekleyemeyeceklerini/tarayamayacaklarını bilmelerini sağlamak için oluşturulan bir metin dosyasını ifade eder. Belirli WordPress dosya ve klasörlerine arama motorunun erişimini engellemek için kullanabilirsiniz.

robots.txt dosyası, WordPress kök dizininizde bulunur. Herhangi bir web sitesinin robots.txt dosyasını arama motorlarına ' domain.com/robots.txt ' yazarak bulabilirsiniz.

Robots.txt dosyasının biçimi şöyledir:

 Kullanıcı aracısı: [kullanıcı aracısı adı]
İzin verme: [URL dizesi taranmayacak]
İzin ver: [taranacak URL dizesi]

Kullanıcı aracısı , robots.txt dosyanızı okuyabilen arama motoru anlamına gelir. Yıldız ile işaretlenmişse, dosyanız tüm arama motorları tarafından okunabilir. Google, Bing veya Ask.com gibi belirli arama motorlarını belirtmeniz mümkündür.

Sitenizi taramak ve dizine eklemek için bir arama motorunun belirli botlarını bile seçebilirsiniz. Örneğin Google, Googlebot-News, Googlebot-Image, Googlebot-Video dahil olmak üzere farklı haber, resim ve video botlarına sahiptir.

İzin Ver ve İzin Verme , botlara hangi içeriği tarayabileceklerini ve tarayamayacaklarını söyler. Arama motorunun sitenizdeki tüm içeriği taramasını istiyorsanız, 'İzin Ver'den sonra bir eğik çizgi (/) eklemeniz yeterlidir.

WordPress Sitesinde Robots.txt Dosyasının Önemi

Bir robots.txt dosyası olmadan, arama motorları WordPress web sitenizi taramaya ve dizine eklemeye devam eder. Yine de, halktan gizlenmesi gereken sayfaları, Teşekkür sayfasını, Yönetici giriş sayfasını veya Yazar arşiv sayfalarını içerir.

İyi yapılandırılmış bir robots.txt dosyası, arama motorlarının tarama kaynaklarını optimize etmede size yardımcı olur. Onları, dizine eklenmemesi gereken sayfalarda zaman kaybetmek yerine, işletmenize daha fazla değer katan temel sayfalara odaklanmaya yönlendirebilirsiniz.

Optimize edilmiş bir robots.txt sayesinde tarama kotanızı da kaydedebilirsiniz . Bir tarama kotası, yani bir tarama bütçesi, bir arama botunun bir oturumda tarayabileceği sayfa sayısını tanımlar. Botların taramaması gereken sayfaları ve dosyaları listelemezseniz, bot taramaya ve arama sonuçlarında göstermeye devam eder.

İçeriği Gizlemek için Robots.txt Kullanmalı mısınız?

Cevap hayır. Robots.txt, indeks olmayan sayfaları kontrol etmek için ideal bir çözüm değildir. Bir sayfaya veya gönderiye izin vermezseniz, o içeriğin artık sonuç sayfalarında görünmeyeceğini düşünebilirsiniz. Arama motorlarına içeriğinizi dizine eklememelerini söylemek yerine, botların dizine eklenmesini engeller.

Sonuç olarak, içeriğiniz başka bir siteye bağlandığında dizine eklenmeye devam eder. WordPress robots.txt dosyası hakkındaki diğer efsanelere buradan göz atın.

Arama motorlarının içeriğinizi dizine eklemesini engellemek için başka yöntemler kullanmanızı öneririz. PPWP Pro eklentisi ile HTML sayfalarına meta dizinsiz etiket ekleyebilir veya içeriği parola korumalı olarak ekleyebilirsiniz. Arama motorlarının özel medya dosyalarınızı indekslemesini önlemek için PDA Gold eklentisini de kullanmalısınız.

Hangi İçeriklere İzin Verilmemeli veya Noindex

Bir web yöneticisi olarak, kötü niyetli saldırıları engelleyen readme.html dosyasını gizlemek için robots.txt dosyasını kullanabilirsiniz. WordPress sürümünüz orada mevcuttur, bu da bilgisayar korsanlarının güvenlik açıklarını bulmasını ve sitenize saldırmasını kolaylaştırır.

Blogunuzdaki kategori ve etiket sayfaları gibi düşük kaliteli içerikleri gizlemek için robots.txt dosyasını kullanmayı düşünebilirsiniz. Yine de akıllıca bir karar değil.

Ayrıca, WordPress giriş sayfamıza, yönetici dizinimize veya kayıt sayfamıza izin vermemeye çalışmayın. WordPress zaten onlar için otomatik olarak indekssiz bir etiket oluşturur.

WordPress'te Robots.txt Dosyası Nasıl Oluşturulur ve Gönderilir

WordPress siteniz için bir robots.txt dosyası oluşturmak için iki farklı yol kullanabilirsiniz. FTP kullanarak manuel olarak bir tane ekleyebilir veya bir WordPress eklentisinden yararlanabilirsiniz. Önce daha basit yöntemle başlayalım.

#1 Robots.txt Dosyasını Yoast SEO Eklentisini Kullanarak Düzenleme

Yoast, şüphesiz şu anda WordPress siteleri için en popüler SEO eklentisidir. 5 milyondan fazla aktif kurulum ile SEO nişinde ilk sırayı alıyor.

Standart URL'ler, XML site haritaları ve SEO analizi gibi ana SEO iyileştirme görevlerinin yanı sıra siteniz için bir robots.txt dosyası oluşturmanıza da yardımcı olur.

Kurulum ve aktivasyondan sonra yönetici menünüzde SEO → Araçlar bölümüne gidebilirsiniz. Şimdi aşağı kaydırın ve 'Dosya düzenleyici' seçeneğini bulun. Buraya tıkladığınızda robots.txt dosyanızı özelleştirmeniz için bir 'robots.txt dosyası oluştur' düğmesi göreceksiniz.

Kural ekleyerek veya kaldırarak robots.txt dosyanızı değiştirebilirsiniz. Tamamlandığında, tüm değişikliklerinizi kaydetmeyi unutmayın.

#2 Robots.txt dosyasını FTP Kullanarak Manuel Olarak Düzenleme

WordPress robots.txt dosyasını FTP aracılığıyla kolayca oluşturabilirsiniz. Tek yapmanız gereken bir FTP istemcisi kullanarak WordPress barındırma hesabınıza bağlanmak. Bundan sonra, web sitesinin kök klasöründe robots.txt dosyasını bulun. Elinizde yoksa, sağ tıklayıp 'Yeni dosya oluştur' seçeneğini seçerek bir tane oluşturun.

Ardından, dosyayı bilgisayarınıza indirin ve örneğin Notepad veya TextEdit gibi düz bir metin düzenleyiciyle düzenleyin. Şimdi, web sitenizin kök klasörüne yeniden yükleyin.

WordPress Robots.txt Dosyanızı Nasıl Optimize Edebilirsiniz?

robots.txt dosyanızı çeşitli şekillerde özelleştirebilirsiniz. Arama motoru botlarının içeriğinizi kolayca tarayabilmesi için bir site haritası oluşturmalı ve onu robots.txt dosyanıza eklemelisiniz. Bazı site sahipleri belirli bir klasöre veya dosyaya izin vermemek isterken, bazıları sitenin tamamına erişimi engellemeyi tercih ediyor.

Robots.txt Dosyanıza Site Haritaları Ekleyin

Site haritanız, tarayıcıların bulmasını ve taramasını istediğiniz tüm web sayfalarını içerecektir. Arama motorlarında görünmesi gereken içeriğin önceliklendirilmesinde etkili olduğunu kanıtlıyor. Bir web sitesi site haritası 'domain.com//sitemap.xml' adresinde bulunabilir. SEO'yu artırmak için WordPress site haritanızı nasıl optimize edeceğinizi buradan öğrenin.

Site haritası hazır olduğunda, robots.txt dosyanıza eklemeniz yeterlidir.

 Kullanıcı aracısı: *
Site Haritası: http://www.example.com/post-sitemap.xml
Site Haritası: http://www.example.com/page-sitemap.xml

Tüm Siteye Erişimi Kısıtla

Arama motoru botlarının tüm web sitenizi taramasını engellemek çoğu durumda garip geliyor. Ancak geliştirme siteleri için kullanışlıdır. Siteniz dizine eklenmez ve arama sonuçlarında görünmez.

 Kullanıcı aracısı: *
izin verme: /

'User-agent: *' bu kuralı tüm arama motorlarına uygularken, 'Disallow: /' aynı alan adı altındaki tüm sayfalarınıza erişimlerine izin vermediğiniz anlamına gelir.

Belirli Bir Botun Sitenizi Taramasını Önleyin

Tarama bütçesinden tasarruf etmek için Bingbot ve diğer bazı önemsiz arama motoru botlarını engellemek istiyorsunuz. Bunu başarmak için * yıldız işaretini 'Bingbot' ile değiştirin ve işiniz bitti.

 Kullanıcı aracısı: Bingbot
izin verme: /

Belirli Bir Klasöre veya Dosyaya Erişimi Engelle veya İzin Ver

İstemcilerin dosyalarından ve kimlik bilgilerinden oluşan özel bir yükleme klasörünüz olduğundan, tarayıcıların bunları bulmasını istemezsiniz. Diğer bir yaygın örnek, tüm wp-admin klasörüne veya wp-login.php'ye erişimi engellemektir. Ardından robots.txt dosyanız şuna benzer:

 Kullanıcı aracısı: *
İzin verme: /wp-admin/
İzin verme: /wp-login.php
İzin verme: /wp-content/uploads/_pda/*

Bir klasörü kısıtlamayı planlıyor ancak botların içindeki belirli bir dosyayı taramasını istiyorsanız, bu örnek robots.txt dosyasını kullanabilirsiniz.

 Kullanıcı aracısı: *
İzin verme: /wp-admin/
İzin ver: /wp-admin/admin-ajax.php

Tek Botlar için Farklı Kurallar Oluşturun

"Bing'de bir klasör erişimini engellemeyi ayarlayabilir, ancak yine de Google aramada taranmasına izin verebilir miyim?" Ne kadar basit bir görev! Her Kullanıcı-aracı için farklı bir kural kümesi eklemeniz yeterlidir.

 Kullanıcı aracısı: *
İzin verme: /wp-admin/
Kullanıcı aracısı: Bingbot
izin verme: /

WordPress Robots.txt Örnekleri

Aşağıda, büyük web sitelerinin robots.txt dosyalarıyla neler yaptığını görmek için inceleyebileceğiniz robots.txt dosyası örnekleri verilmiştir.

WPBeginner, tüm arama motorlarının readme.html dosyasını, başvuru klasörünü ve wp-admin klasörünü okumasını engeller. Aynı zamanda botların yükleme klasörlerini, sayfalarını, gönderilerini ve anlaşmalarını bulmasını sağlar.

Web sitesi, sayfalar, gönderiler ve anlaşma gönderi türü için ayrı site haritaları oluşturur. Robots.txt dosyasında da bir barındırma site haritası bulunmaktadır.

TechCrunch robots.txt biraz farklıdır. 'İzin Verme: /search/' kuralını ekleyerek botların arama sonucu sayfalarını taramasını engeller.

WordPress Robots.txt Dosyanızı Nasıl Test Edebilirsiniz?

Doğru çalıştıklarından emin olmak için robots.txt dosyanızı kontrol etmeniz gerekir. Dosyanızı test etmek için Google Arama Konsolu aracını kullanabilirsiniz.

Google Arama Konsolu ile bağlantılı web sitenizi bağladıktan sonra, Arama Konsolu menüsünde, Tarama bölümünün altındaki 'robots.txt tester'ı açın. Şimdi 'Lütfen bir mülk seçin' açılır menüsünden web sitenizi seçin.

Ardından, vurgulanan hataları ve uyarıları içeren bir robots.txt dosyası gösterecektir. 'Gönder' düğmesine basmadan önce, araç tarafından vurgulanan tüm hataları ve uyarıları düzeltmelisiniz.

WordPress Robots.txt Dosyasını Düzgün Bir Şekilde Optimize Edin

Robots.txt dosyalarının arama motorlarına sitenizde neleri tarayıp tarayamayacaklarını söylemedeki önemini hepimiz anlıyoruz.

Yukarıda, Yoast SEO eklentisi ve FTP istemcisi kullanarak WordPress siteleri için bir robots.txt dosyasının nasıl oluşturulacağına dair eksiksiz kılavuz bulunmaktadır. Ayrıca size robots.txt dosyasını optimize etme seçeneklerini ve büyük web sitelerinden bazı robots.txt örneklerini gösterdik.

robots.txt dosyanızı gönderdikten sonra, tarama hatası olmadığından emin olmak için test etmeniz gerekir. Daha kullanışlı WordPress kaynakları için blogumuza göz atın.