SEO için WordPress Robots.txt'inizi Nasıl Optimize Edebilirsiniz?

Son zamanlarda okuyucularımızdan biri, SEO'yu iyileştirmek için robots.txt dosyasının nasıl optimize edileceğine dair ipuçları istedi.

Robots.txt dosyası, arama motorlarına web sitenizi nasıl tarayacaklarını söyler ve bu da onu inanılmaz derecede güçlü bir SEO aracı yapar.

Bu yazıda size SEO için mükemmel bir robots.txt dosyasının nasıl oluşturulacağını göstereceğiz.

robots.txt dosyası nedir?

Robots.txt, web sitesi sahiplerinin arama motoru botlarına sitelerindeki sayfaları nasıl tarayacaklarını ve dizine nasıl ekleyebileceklerini söylemek için oluşturabilecekleri bir metin dosyasıdır.

Genellikle web sitenizin ana klasörü olarak da bilinen kök dizininde depolanır. Bir robots.txt dosyasının temel biçimi şöyle görünür:

User-agent: [user-agent name]
Disallow: [URL string not to be crawled]

User-agent: [user-agent name]
Allow: [URL string to be crawled]


Sitemap: [URL of your XML Sitemap]

Belirli URL'lere izin vermek veya vermemek ve birden çok site haritası eklemek için birden çok talimat satırınız olabilir. Bir URL'ye izin vermezseniz, arama motoru botları, onu taramalarına izin verildiğini varsayar.

Bir robots.txt örnek dosyası şöyle görünebilir:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/

Sitemap: https://example.com/sitemap_index.xml

Yukarıdaki robots.txt örneğinde, arama motorlarının WordPress yüklemeler klasörümüzdeki dosyaları taramasına ve dizine eklemesine izin verdik.

Bundan sonra, arama botlarının eklentileri ve WordPress yönetici klasörlerini taramasına ve dizine eklemesine izin vermedik.

Son olarak, XML site haritamızın URL'sini sağladık.

WordPress Siteniz İçin Bir Robots.txt Dosyasına mı İhtiyacınız Var?

Bir robots.txt dosyanız yoksa, arama motorları web sitenizi taramaya ve dizine eklemeye devam eder. Ancak, arama motorlarına hangi sayfaları veya klasörleri taramamaları gerektiğini söyleyemezsiniz.

Bir bloga ilk başladığınızda ve çok fazla içeriğiniz olmadığında bunun çok fazla bir etkisi olmayacaktır.

Ancak web siteniz büyüdükçe ve çok fazla içeriğiniz olduğunda, web sitenizin nasıl tarandığı ve dizine eklendiği konusunda daha iyi kontrol sahibi olmak isteyebilirsiniz.

İşte neden.

Arama botlarının her web sitesi için bir tarama kotası vardır.

Bu, bir tarama oturumu sırasında belirli sayıda sayfayı taradıkları anlamına gelir. Sitenizdeki tüm sayfaları taramayı bitirmezlerse geri dönerler ve bir sonraki oturumda taramaya devam ederler.

Bu, web sitenizin indeksleme oranını yavaşlatabilir.

Arama botlarının WordPress yönetici sayfalarınız, eklenti dosyalarınız ve temalar klasörünüz gibi gereksiz sayfaları taramaya çalışmasına izin vermeyerek bunu düzeltebilirsiniz.

Gereksiz sayfalara izin vermeyerek tarama kotanızdan tasarruf etmiş olursunuz. Bu, arama motorlarının sitenizdeki daha da fazla sayfayı taramasına ve mümkün olduğunca çabuk dizine eklemesine yardımcı olur.

Robots.txt dosyasını kullanmanın bir başka iyi nedeni de arama motorlarının web sitenizdeki bir gönderiyi veya sayfayı dizine eklemesini durdurmak istemenizdir.

İçeriği genel halktan gizlemenin en güvenli yolu değildir, ancak arama sonuçlarında görünmelerini önlemenize yardımcı olur.

İdeal Bir Robots.txt Dosyası Neye benziyor?

Birçok popüler blog, çok basit bir robots.txt dosyası kullanır. İçeriği, belirli sitenin ihtiyaçlarına bağlı olarak değişebilir:

User-agent: *
Disallow:
 
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

Bu robots.txt dosyası, tüm botların tüm içeriği dizine eklemesine izin verir ve onlara web sitesinin XML site haritalarına bir bağlantı sağlar.

WordPress siteleri için robots.txt dosyasında aşağıdaki kuralları öneririz:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/

Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

Bu, arama botlarına tüm WordPress resimlerini ve dosyalarını dizine eklemesini söyler. Arama botlarının WordPress eklenti dosyalarını, WordPress yönetici alanını, WordPress benioku dosyasını ve bağlı kuruluş bağlantılarını dizine eklemesine izin vermez.

robots.txt dosyasına site haritaları ekleyerek Google botlarının sitenizdeki tüm sayfaları bulmasını kolaylaştırırsınız.

Artık ideal bir robots.txt dosyasının neye benzediğini bildiğinize göre, WordPress'te nasıl robots.txt dosyası oluşturabileceğinize bir göz atalım.

WordPress'te Robots.txt Dosyası Nasıl Oluşturulur?

WordPress'te robots.txt dosyası oluşturmanın iki yolu vardır. Size en uygun yöntemi seçebilirsiniz.

Yöntem 1: Hepsi Bir Arada SEO Kullanarak Robots.txt Dosyasını Düzenleme

AIOSEO olarak da bilinen Hepsi Bir Arada SEO, 2 milyondan fazla web sitesi tarafından kullanılan piyasadaki en iyi WordPress SEO eklentisidir.

Kullanımı kolaydır ve bir robots.txt dosya oluşturucu ile birlikte gelir.

AIOSEO eklentisini henüz yüklemediyseniz, bir WordPress eklentisinin nasıl kurulacağına ilişkin adım adım kılavuzumuzu inceleyebilirsiniz.

Not: AIOSEO'nun ücretsiz sürümü de mevcuttur ve bu özelliğe sahiptir.

Eklenti yüklenip etkinleştirildikten sonra, doğrudan WordPress yönetici alanınızdan robots.txt dosyanızı oluşturmak ve düzenlemek için kullanabilirsiniz.

Robots.txt dosyanızı düzenlemek için Hepsi Bir Arada SEO » Araçları'na gidin.

İlk olarak, 'Özel Robots.txt'yi Etkinleştir' düğmesini maviye çevirerek düzenleme seçeneğini açmanız gerekir.

Bu geçiş açıkken, WordPress'te özel bir robots.txt dosyası oluşturabilirsiniz.

Hepsi Bir Arada SEO, mevcut robots.txt dosyanızı ekranınızın altındaki 'Robots.txt Önizleme' bölümünde gösterecektir.

Bu sürüm, WordPress tarafından eklenen varsayılan kuralları gösterecektir.

Bu varsayılan kurallar, arama motorlarına temel WordPress dosyalarınızı taramamalarını söyler, botların tüm içeriği dizine eklemesine izin verir ve onlara sitenizin XML site haritalarına bir bağlantı sağlar.

Artık SEO için robots.txt dosyanızı geliştirmek için kendi özel kurallarınızı ekleyebilirsiniz.

Bir kural eklemek için 'Kullanıcı Aracısı' alanına bir kullanıcı aracısı girin. * kullanılması, kuralı tüm kullanıcı aracılarına uygular.

Ardından, arama motorlarının taramasına 'İzin Ver' veya 'İzin Verme' seçeneklerinden birini seçin.

Ardından, 'Dizin Yolu' alanına dosya adını veya dizin yolunu girin.

Kural otomatik olarak robots.txt dosyanıza uygulanacaktır. Başka bir kural eklemek için 'Kural Ekle' düğmesini tıklayın.

Yukarıda paylaştığımız ideal robots.txt biçimini oluşturana kadar kurallar eklemenizi öneririz.

Özel kurallarınız şöyle görünecek.

İşiniz bittiğinde, değişikliklerinizi kaydetmek için 'Değişiklikleri Kaydet' düğmesini tıklamayı unutmayın.

Yöntem 2. Robots.txt dosyasını FTP Kullanarak El İle Düzenleme

Bu yöntem için robots.txt dosyasını düzenlemek için bir FTP istemcisi kullanmanız gerekecektir.

Bir FTP istemcisi kullanarak WordPress barındırma hesabınıza bağlanmanız yeterlidir.

İçeri girdikten sonra robots.txt dosyasını web sitenizin kök klasöründe görebileceksiniz.

Bir tane görmüyorsanız, muhtemelen bir robots.txt dosyanız yoktur.

Bu durumda, devam edip bir tane oluşturabilirsiniz.

Robots.txt bir düz metin dosyasıdır, yani onu bilgisayarınıza indirebilir ve Notepad veya TextEdit gibi herhangi bir düz metin düzenleyiciyi kullanarak düzenleyebilirsiniz.

Değişikliklerinizi kaydettikten sonra, web sitenizin kök klasörüne geri yükleyebilirsiniz.

Robots.txt Dosyanızı Nasıl Test Edebilirsiniz?

robots.txt dosyanızı oluşturduktan sonra, onu bir robots.txt test aracı kullanarak test etmek her zaman iyi bir fikirdir.

Piyasada pek çok robots.txt test aracı var, ancak Google Arama Konsolu içindeki aracı kullanmanızı öneririz.

İlk olarak, web sitenizin Google Arama Konsolu ile bağlantılı olması gerekir. Bunu henüz yapmadıysanız, WordPress sitenizi Google Arama Konsoluna nasıl ekleyeceğinize ilişkin kılavuzumuza bakın.

Ardından, Google Arama Konsolu Robotları Test Aracını kullanabilirsiniz.

Açılır listeden mülkünüzü seçmeniz yeterlidir.

Araç, web sitenizin robots.txt dosyasını otomatik olarak getirir ve varsa hataları ve uyarıları vurgular.

Son düşünceler

robots.txt dosyanızı optimize etmenin amacı, arama motorlarının herkese açık olmayan sayfaları taramasını engellemektir. Örneğin, wp-plugins klasörünüzdeki sayfalar veya WordPress yönetici klasörünüzdeki sayfalar.

SEO uzmanları arasında yaygın bir efsane, WordPress kategorisini, etiketlerini ve arşiv sayfalarını engellemenin tarama hızını artıracağı ve daha hızlı dizine ekleme ve daha yüksek sıralamalarla sonuçlanacağıdır.

Bu doğru değil. Ayrıca Google'ın web yöneticisi yönergelerine de aykırıdır.

Web siteniz için bir robots.txt dosyası oluşturmak için yukarıdaki robots.txt biçimini izlemenizi öneririz.

Bu makalenin, SEO için WordPress robots.txt dosyanızı nasıl optimize edeceğinizi öğrenmenize yardımcı olacağını umuyoruz. Ayrıca, web sitenizi büyütmek için nihai WordPress SEO kılavuzumuzu ve en iyi WordPress SEO araçlarını görmek isteyebilirsiniz.

Bu makaleyi beğendiyseniz, lütfen WordPress video eğitimleri için YouTube Kanalımıza abone olun. Bizi Twitter ve Facebook'ta da bulabilirsiniz.