WordPress Robots txt için temel kılavuz

robots txt dosyası nedir?

Yeni web sitesini oluşturduğunuzda, Google, Bing vb. arama motorları onu taramak için özel botları kullanır. Bundan sonra, tüm sayfalarının ayrıntılı bir haritasını oluşturur. İlgili anahtar kelimeleri kullanarak birisi arama isteğine girdiğinde hangi sayfaların gösterileceğini tespit etmelerine yardımcı olur.

Sorun, modern web sitelerinin sayfaların yanı sıra birçok başka öğe içermesidir. Örneğin, WordPress, genellikle kendi dizinleri olan eklentileri yüklemenize izin verir. Bu klasörler, site için büyük bir güvenlik riski oluşturabilecek hassas içerik içerdiğinden, bunları arama sonuçları sayfasında göstermek iyi bir fikir değildir.

Hangi klasörlerin taranacağını yapılandırmak için çoğu web sitesi sahibi, arama motoru botları için bir dizi yönerge sağlayan WordPress robots.txt dosyasını kullanır. Hangi klasörlerin taranabileceğini ve hangilerinin arama botlarından gizli kalması gerektiğini yapılandırabilirsiniz. Bu dosya istediğiniz kadar detaylı olabilir ve oluşturulması çok kolaydır.

Uygulamada, bir robots.txt dosyası oluşturmasanız bile arama motorları sitenizi taramaya devam edecektir. Ancak, yaratmamak çok mantıksız bir adımdır. Bu dosya olmadan, arama robotlarının sitenizin tüm içeriğini dizine eklemesine izin verirsiniz ve sitenizin tüm bölümlerini, hatta genel erişimden gizlemek istediklerinizi bile gösterebileceğinize karar verirler.

Daha önemli bir nokta, bir WordPress robots txt dosyası olmadan, arama botları web sitenize çok sık erişecektir. Bu, performansını olumsuz etkileyecektir. Sitenize katılım hala az olsa da sayfa yüklenme hızı her zaman öncelikli ve en üst düzeyde olması gereken bir şeydir. Sonuçta, insanların yavaş web sitesi yüklemesinden daha çok sevmediği birkaç şey var.

WordPress için robots.txt dosyası nerede bulunur?

Bir WordPress web sitesi oluşturduğunuzda, sunucu otomatik olarak bir robots.txt dosyası oluşturur ve onu sunucudaki kök dizininizde bulur. Örneğin, web sitenizin adresi example.com ise bunu example.com/robots.txt adresinde bulabilirsiniz. Herhangi bir metin düzenleyici ile açıp düzenleyebilirsiniz. Aşağıdaki gibi satırları içerecektir:

1. Kullanıcı aracısı: *
2. İzin verme: /wp-admin/
3. İzin verme: /wp-içerir/

Bu, en basit temel robots.txt dosyasının bir örneğidir. İnsan diline çevirerek, User-agent'dan sonra sağ taraf: kuralların hangi robotlar için olduğunu bildirir. Yıldız işareti, kuralın evrensel olduğu ve tüm botlar için geçerli olduğu anlamına gelir. Bu durumda dosya, botlara wp-admin ve wp-includes dizinlerini tarayamadıklarını söyler. Bu kuralların anlamı, bu dizinlerin genel erişime karşı koruma gerektiren çok sayıda dosya içermesidir.

Elbette dosyanıza daha fazla kural ekleyebilirsiniz. Bunu yapmadan önce, bunun sanal bir dosya olduğunu anlamanız gerekir. Genellikle, WordPress robots.txt dosyası, genellikle public_html, www veya site adınızın adıyla adlandırılan kök dizinde bulunur:

Bu dosyaya erişmek ve yeni sürümü sunucuya yüklemek için FileZilla gibi herhangi bir FTP yöneticisini kullanabilirsiniz. Tek ihtiyacınız olan, FTP bağlantısı için giriş ve şifreyi bilmek. Daha fazla bilgi için teknik desteğe başvurabilirsiniz.

WordPress robots txt dosyası için bazı temel gereksinimler

• Web sitesinin kök köşesinde mevcut olmalıdır. Adresi example.com/robots.txt gibi görünecektir.
• Dosya boyutu 32 kilobaytı geçmemelidir.
• Metin yalnızca Latin sembollerini içermelidir. Alan adınız başka semboller kullanıyorsa, onu Latin sembollerine doğru bir şekilde yazmak için özel yazılımı kullanın.

Bunu unutma:

• Robots.txt yönergeleri doğası gereği tavsiye niteliğindedir.
• robots.txt ayarları diğer siteleri etkilemez (robots.txt dosyasında yalnızca geçerli sitedeki sayfaları veya dosyaları kapatabilirsiniz).
• robots.txt komutları büyük/küçük harfe duyarlıdır.

Robotları aramak için robots.txt talimat türleri:

• Web sitesinin belirli bölümlerine kısmi erişim.
• Tam tarama izin verilmemesi.

robots.txt dosyasını ne zaman kullanmalısınız?

WordPress robots txt dosyasını kullanarak, dizine eklenmesini istemediğiniz arama robotlarından sayfaları kapatabiliriz, örneğin:

• kişisel kullanıcı bilgilerini içeren sayfalar;
• arayüzün ekranda nasıl görüntülendiğini etkilemeyen dokümantasyon ve hizmet bilgileri içeren sayfalar;
• belirli dosya türleri, örneğin PDF dosyaları;
• WordPress kontrol paneli vb.

robots.txt dosyasının yapısı

Web yöneticisi, herhangi bir metin düzenleyiciyi kullanarak WordPress robots txt dosyasını oluşturabilir. Sözdizimi üç ana öğe içerir:

1 Kullanıcı aracısı: [arama robotunun adı]

2 İzin Verme: [erişimi kapatmak istediğiniz yol]

3 İzin ver: [erişim açmak istediğiniz yol]

Ayrıca, dosya ayrıca iki ek öğe içerebilir:

1 Site Haritası: [site haritası adresi]

Ardından oluşturulan robots.txt dosyasını web sitesinin kök dizinine yerleştirin. Web siteniz birincil alan adını kullanıyorsa, dosya /public_html/ veya /www/ klasöründe bulunur. Barındırma sağlayıcısına bağlıdır. Bazı durumlarda biraz farklı olabilir ama çoğu firma bahsi geçen yapıyı kullanır. Etki alanı ek ise, klasör adı web sitesi adını içerecek ve /example.com/ gibi görünecektir.

Dosyayı uygun klasöre yerleştirmek için bir FTP istemcisine (örneğin, FileZilla) ve sağlayıcının bir barındırma planı satın aldığınızda size verdiği FTP erişimine ihtiyacınız olacak.

kullanıcı aracısı

Tüm talimatlar robotlar tarafından bir bütün olarak algılanır ve yalnızca ilk satırda listelenen arama robotları için geçerlidir. Toplamda yaklaşık 300 farklı arama robotu var. Aynı kuralları tüm arama robotlarına uygulamak istiyorsanız, “User-agent” alanına yıldız işareti (*) koymanız yeterlidir. Bu karakter, herhangi bir karakter dizisi anlamına gelir. Sonuç olarak, aşağıdaki gibi görünecektir:

1 Kullanıcı aracısı: *

izin verme

Bu komut, robotların sitenin hangi bölümlerinin taranmaması gerektiğini araması için öneriler sunar. Robots.txt dosyasına İzin Verme: / koyarsanız, tüm web sitesi içeriğini taramadan kapatır. Belirli bir klasörü taramadan kapatmanız gerekirse, Disallow: /folder'ı kullanın.

Benzer şekilde, belirli bir URL'yi, dosyayı veya belirli bir dosya biçimini gizleyebilirsiniz. Örneğin, sitedeki tüm PDF dosyalarının dizine eklenmesini kapatmanız gerekiyorsa, WordPress robots txt'ye aşağıdaki talimatı yazmanız gerekir:

1 İzin Verme: /*.pdf$

Bir dosya uzantısının önündeki yıldız işareti, herhangi bir karakter dizisi (herhangi bir ad) anlamına gelir ve sonundaki dolar işareti, yalnızca .pdf uzantılı dosyaları dizine eklemekten kapattığınızı gösterir.

Aşağıdaki Google referans malzemelerinde, bir robots.txt dosyasındaki URL'leri engelleme komutlarının listesini bulacaksınız.

İzin vermek

Bu komut, herhangi bir dosya, klasör veya sayfayı taramanıza izin verir. Sadece /other kelimesini içeren sayfaların robotlar tarafından taranması için açılması ve diğer tüm içeriğin kapatılması gerektiğini varsayalım. Bu durumda, aşağıdaki kombinasyonu kullanın:

1 Kullanıcı aracısı: *

2 İzin ver: /diğer

3 İzin Verme: /

İzin Ver ve İzin Verme kuralları, URL önekine göre (en kısadan en uzuna) sıralanır ve sırayla uygulanır. Örnekte, aşağıdaki talimat sırası olacaktır: ilk olarak, robot İzin Verme: /'yi tarar ve ardından İzin Ver: /other, yani /diğer klasörü indekslenir.

robots.txt dosyasındaki tipik hatalar

Yanlış komut sırası. Açık bir mantıksal talimat dizisi olmalıdır. Önce Kullanıcı Aracısı, ardından İzin Ver ve İzin Verme. Tüm siteye izin veriyor ancak ayrı bölümlere veya dosyalara izin vermiyorsanız, önce İzin Ver ve ardından İzin Verme'yi koyun. Tüm bölüme izin vermezseniz ancak bazı bölümlerini açmak istiyorsanız, İzin Verme, İzin Ver'den daha yükseğe konumlandırılır.

Tek bir İzin Ver veya İzin Verme talimatında birden çok klasör veya dizin. Robots.txt dosyasına birkaç farklı İzin Ver ve İzin Verme talimatı kaydetmek istiyorsanız, her birini yeni bir satırdan girin:

İzin verme: / klasör

İzin verme: /admin

Yanlış dosya adı. Ad, yalnızca küçük Latin harflerinden oluşan "robots.txt" olmalıdır.

Boş Kullanıcı-aracı kuralı. Tüm robotlar için genel talimatlar ayarlamak istiyorsanız, bir yıldız işareti koyun.

Sözdizimi hataları. Talimatlardan birinde yanlışlıkla ek sözdizimi öğelerinden birini belirtmeniz durumunda, robot bunları yanlış yorumlayabilir.

WordPress web siteniz için robots.txt dosyası nasıl oluşturulur?

robots.txt dosyanızı oluşturmaya karar verdiğiniz anda, tek ihtiyacınız olan onu oluşturmanın bir yolunu bulmaktır. WordPress'te robots.txt dosyasını eklentiyi kullanarak düzenleyebilir veya manuel olarak yapabilirsiniz. Bu bölümde, size bu görev için en popüler iki eklentiyi nasıl kullanacağınızı öğreteceğiz ve manuel olarak bir dosyanın nasıl oluşturulacağını ve indirileceğini tartışacağız. Hadi gidelim!

Yoast SEO eklentisini kullanma

Yoast SEO eklentisi tanıtılmak için çok popüler. Bu, WordPress için en iyi bilinen SEO eklentisidir, anahtar kelimeleri daha iyi kullanmak için yazıları ve sayfaları iyileştirmenize olanak tanır. Ayrıca içeriğinizin okunabilirliğini de derecelendirecek ve bu da potansiyel kitleyi artıracaktır. Birçok geliştirici, sadeliği ve rahatlığı nedeniyle Yoast SEO eklentisine hayrandır.

Temel özelliklerinden biri, web siteniz için bir robots.txt dosyası oluşturmaktır. Eklentiyi kurup etkinleştirdikten sonra, eklenti konsolundaki SEO – Araçlar sekmesine gidin ve Dosya Düzenleyici parametresini bulun:

Bu bağlantıya tıklayarak .htaccess dosyasını yönetici konsolundan çıkmadan düzenleyebilirsiniz. Ayrıca bir robots.txt dosyası oluştur düğmesi vardır:

Sekmedeki düğmeye tıkladıktan sonra eklenti, robots.txt dosyanızı doğrudan düzenleyebileceğiniz yeni düzenleyiciyi görüntüler. Yoast SEO'nun, mevcut bir sanal robots.txt dosyasının kurallarını geçersiz kılan varsayılan kurallarını belirlediğini lütfen unutmayın.

Kuralları sildikten veya ekledikten sonra, bunları uygulamak için robots.txt dosyasındaki Değişiklikleri Kaydet düğmesini tıklayın:

Bu kadar! Şimdi aynı görevi gerçekleştirmeye izin verecek başka bir popüler eklentiye bakalım.

Hepsi Bir Arada SEO Paketi eklentisini kullanma

Hepsi Bir Arada SEO Paketi Eklentisi, arama motoru optimizasyonu için başka bir harika WordPress eklentisidir. Yoast SEO eklentisinin özelliklerinin çoğunu içerir, ancak bazı web sitesi sahipleri daha hafif olduğu için tercih eder. Robots.txt dosyasını oluşturmaya gelince, onu bu eklentide oluşturmak da kolaydır.

Eklentiyi yükledikten sonra konsolda All in One SEO — Modülleri Yönet'e gidin. İçeride, sağ altta büyük mavi Etkinleştir düğmesi ile Robots.txt seçeneğini bulacaksınız. Üstüne tıkla:

Artık Hepsi Bir Arada SEO menüsünde yeni bir Robots.txt sekmesi bulabileceksiniz. Dosyanıza yeni kurallar eklemek için ayarları görmek için üzerine tıklayın. Ardından, değişiklikleri kaydedin veya her şeyi silin:

Lütfen, istediğiniz her şeyi girmenize izin veren Yoast SEO'dan farklı olarak, bu eklenti ile robots.txt dosyasını doğrudan değiştiremeyeceğinizi unutmayın. Dosya içeriği etkin olmayacaktır. Sadece gri arka planı göreceksiniz.

Ancak yeni kuralları eklemek çok kolay olduğu için bu durum sizi üzmemelidir. Daha da önemlisi, Hepsi Bir Arada SEO Paketi ayrıca “kötü” botları engellemenize yardımcı olan bir özellik içerir. Bunu Hepsi Bir Arada SEO sekmesinde bulabilirsiniz:

Bu yöntemi seçerseniz yapmanız gereken tek şey bu. Şimdi sadece bu görev için ek bir eklenti kurmak istemiyorsanız manuel olarak bir WordPress robots txt dosyasını nasıl oluşturacağınızdan bahsedelim.

FTP aracılığıyla WordPress için bir robots.txt dosyası oluşturma ve yükleme

Robots.txt dosyasını manuel olarak oluşturmak için favori düzenleyicinizi (Not Defteri veya TextEdit gibi) açın ve gerekli tüm komutları ekleyin ve dosyayı txt uzantılı yerel sürücüye kaydedin. Kelimenin tam anlamıyla birkaç saniye sürecektir, bu nedenle eklenti kullanmadan WordPress için bir robots.txt oluşturmak isteyebilirsiniz.

İşte böyle bir dosyanın hızlı bir örneği:

Kendi dosyanızı oluşturduktan sonra FTP üzerinden sitenize bağlanmanız ve dosyayı kök klasöre atmanız gerekmektedir. Çoğu durumda, public_html veya www dizinidir. Dosyayı, yerel FTP yöneticisinde dosya üzerinde farenin sağ tuşuna tıklayarak veya basitçe dosyayı sürükleyip bırakarak yükleyebilirsiniz:

Ayrıca birkaç saniye sürer. Gördüğünüz gibi, bu yöntem eklentiyi kullanmaktan daha zor değil.

WordPress web siteniz için robots.txt dosyası nasıl test edilir

Şimdi, robots.txt dosyanızı Google Arama Konsolunda hatalar için kontrol etme zamanı. Search Console, içeriğinizin arama sonuçları sayfasında nasıl göründüğünü takip etmenize yardımcı olmak için tasarlanmış Google araçlarından biridir. Bu araçlardan biri robots.txt dosyasını kontrol eder, bunu konsolunuzun Kontrol Aracı bölümünde Robots.txt dosyanıza giderek kullanabilirsiniz:

Burada, WordPress robots.txt dosyanızın kodunu ekleyebileceğiniz düzenleyici alanını bulacaksınız ve Gönder'i tıklayın. Google Arama konsolu, yeni kodu kullanmak mı yoksa dosyayı sitenizden indirmek mi istediğinizi soracaktır. Kodu manuel olarak göndermek için Google'dan Güncellemesini İste seçeneğini belirleyin:

Artık platform, dosyanızda hata olup olmadığını kontrol edecektir. Bir hata bulursa, hemen size bildirecektir.

Çözüm

WordPress robots txt dosyası, arama motoru botları için web sitesi görünürlüğünü artırmak için çok güçlü bir araçtır. Çok önemli olduğu için, yaratmak çok zor değil. Herhangi bir ideal dosya var mı? Biz öyle diyemeyiz. Web sitenizin içeriğine ve elde etmek istediğiniz sonuca bağlı olarak farklılık gösterecektir.