Arama Motorlarının Sitenizi Dizine Eklemesini Önleyin

Arama motorlarının WordPress sitenizi dizine eklemesini engellediğinizde, site taranmaz, dizine eklenmez ve arama sonuçlarında hiçbir yerde listelenmez. Bir web sitesi geliştirdiniz ve arama sonuçlarında sıralama şansını artırmak için optimize ettiniz. Peki neden web tarayıcılarını ve dizin oluşturucuları engellemek istiyorsunuz?

Gönderinin sonunda, sitenizin dizine eklenmesini önlemenin en önemli 5 nedenini ve ayrıca arama motoru dizine eklemeyi devre dışı bırakma çözümlerini öğreneceksiniz.

• Arama Motorlarını WordPress Sitenizi Dizine Eklemekten Neden Engellemelisiniz?
• Arama Motorlarının WordPress sitelerini Dizine Eklemesini Engelleyin
  • cPanel kullanarak web sitelerini parolayla koruyun
  • Password Protect WordPress Pro eklentisini kullanın
  • WordPress Arama Motoru Görünürlüğü özelliğini kullanın
• Robots.txt Hakkında Yaygın 3 Mit
  • robots.txt sınırlamaları
• Google'ın WordPress Sayfalarını ve Gönderilerini Dizine Eklemesini Durdurun
  • robots meta etiketini kullanın
  • x-robots-tag HTTP başlığını kullan
  • WordPress Sayfalarını ve Gönderilerini Koru eklentisini kullanın
• Arama Motorlarının WordPress Dosyalarını Dizine Eklemesini Önleyin
  • robots.txt dosyasını düzenleyin
  • Google'ın ek sayfalarını dizine eklemesini durdurun
  • Yoast SEO eklentisini kullanın
  • Doğrudan Erişimi Engelle Gold eklentisini kullanın

Arama Motorlarını WordPress Sitenizi Dizine Eklemekten Neden Engellemelisiniz?

Arama motorlarının WordPress sitenizi ve içeriğinizi taramayı ve dizine eklemeyi durdurmasını isteyebileceğiniz 5 yaygın durum vardır:

1. Bakım ve çok yakında sayfalar

Bakım sayfası, kullanıcıların sitenizin hâlâ geliştirme aşamasında olduğunu bilmelerini sağlar. Bu sayfa dizine eklenmemeli ve arama sonuçlarında görünmemelidir çünkü site yayına girdikten sonra herhangi bir değer sunmayacaktır.

2. Yinelenen içerik

Geliştirme amacıyla bir klon web sitesi oluşturursunuz. Ancak, bu sitenin mevcut siteyle rekabet etmesini istemezsiniz. Google'ın onları yinelenen web siteleri olarak ele alması ve arama sonuçlarında bu ikisinden birini listelemesi mantıklıdır. Ana site yerine test sitenizi sıralarsa ne olur? Yinelenen siteyi Google'dan uzak tutmak, daha önemli web sitesinin daha üst sıralarında yer almak için yararlıdır.

3. Değerli içerik

Ziyaretçiler, ürünlerinizi çalmak için değerli teklifler içeren sipariş ve teşekkür sayfası URL'lerini arayabilir. Bu durumda, bu sayfalar dizine eklenmemeli ve arama sonuçlarında herkese açık olarak gösterilmemelidir.

4. Kişisel içerik

Günlükler veya günlükler yazıp bunları blog web sitenizde yayınladığınızda, onu aranamaz kılmak için iyi bir nedeniniz olur. Sonuç olarak, hiç kimse blogunuzun varlığını bile bilmeyecek.

5. Proje yönetimi

Ekibiniz bir proje üzerinde çalışırken, ekip üyeleriyle dahili bilgileri paylaşmak için dizine eklenmemiş bir site oluşturabilirsiniz. Bu web sitesi Google'ın tarayıcılarından gizlenecek. Yalnızca ekip üyeleri siteyi arayabilir ve siteye erişebilir.

Şimdi, korumayı düşündüğünüz site alanlarına bağlı olarak, arama indekslemeyi devre dışı bırakmak için size özel çözümler göstereceğiz.

Arama Motorlarının WordPress Sitelerini Dizine Eklemesini Engelleyin

Arama motorlarının WordPress sitelerini dizine eklemesini engellemeniz için 3 yaygın seçenek vardır:

• cPanel kullanarak bir dizini koruyan parola
• Tüm siteyi parola ile korumak için bir eklenti kullanmak
• WordPress Arama Motoru Görünürlüğü özelliğini etkinleştirme

WordPress yerleşik özelliğini incelemeden önce, parola koruma yöntemiyle başlayalım. Sitenizin kontrol paneli aracı için bir şifre sağlayabilir veya bir eklenti aracılığıyla bir şifre belirleyebilirsiniz. Her yöntem web sitenizi farklı bir şekilde korur.

1. cPanel kullanarak web sitelerini parola ile koruyun

cPanel, tüm web sitelerini yönetmek için en popüler ve kullanışlı web barındırma araçlarından birini sunar. Sitenizi parola ile korumak için şu 5 adımı izleyin:

1. cPanel kontrol panelinize giriş yapın ve Parola Korumalı Dizinleri açın
2. WordPress sitenizin barındırıldığı dizini seçin
3. Bu Dizini Parolayla Koru seçeneğini seçin
4. Bir kullanıcı adı ve şifre ile bir kullanıcı hesabı oluşturun
5. Değişikliklerinizi kaydedin

Web sitesi cPanel üzerinden şifre korumalı ise, kullanıcıların web sitesine erişirken hem kullanıcı adı hem de şifre girmeleri gerekir. Bu yüzden bir şifre koruma eklentisi kullanmayı düşünebilirsiniz.

2. Parola Korumalı WordPress (PPWP) Pro eklentisini kullanın

Password Protect WordPress Pro, WordPress sitenizi web tarayıcılarından ve dizin oluşturuculardan uzak tutarken tek bir parola ile korur. Bu yöntem, bir kullanıcı adı gerektirmediğinden cPanel'in parola korumalı dizinler aracı üzerinde size daha fazla kontrol sağlar.

Aktivasyon üzerine yapmanız gerekenler:

1. Ayarlar sayfasına gidin
2. Blok Arama İndeksleme gelişmiş özelliğinin etkinleştirildiğinden emin olun
3. Tüm site sekmesine gidin ve sitenizi korumak için bir şifre girin
4. Değişikliklerinizi kaydedin

Parolayla korunduğunda, web siteniz web tarayıcıları tarafından görünmez hale gelir ve arama sonuçlarında hiçbir yerde gösterilmez. Yalnızca doğru şifrelere sahip olanlar özel sitenin kilidini açabilir.

Bunun da ötesinde, eklenti, bazı sayfaları site genelindeki korumanın dışında tutmanıza olanak tanır. Başka bir deyişle, web sitesinin geri kalanı arama motorlarından gizlenirken bu sayfalar aranabilir olacaktır.

3. WordPress Arama Motoru Görünürlüğü özelliğini kullanın

WordPress, arama motorlarının web sitenizi dizine eklemesini engellemek için yerleşik bir seçenek sunar. Seçeneği etkinleştirmek için şunları yapmalısınız:

1. WordPress kontrol panelinde Ayarları bulun
2. Altındaki Okuma seçeneğine tıklayın
3. " Arama motorlarının bu siteyi dizine eklemesini engelle " seçeneğini etkinleştirin

Arama motorlarının bu siteyi dizine eklemesini engelle onay kutusunu tıkladığınızda, WordPress sitenizi web tarayıcılarından ve dizin oluşturuculardan korumak için robots.txt dosyasını ve meta etiketini kullanır.

WordPress, robots.txt dosyasını aşağıdaki sözdizimini kullanarak düzenler:

 Kullanıcı aracısı: *
izin verme: /

Aynı zamanda, bu satırı web sitenizin başlığına ekler:

 <meta name='robots' content='noindex,follow'/>

Bunun, arama motorlarının sitenizi dizine eklemesini engellemek için iyi bir çözüm olup olmadığını merak edebilirsiniz. Sitenizin SEO sıralamasını etkiler. İçeriğinizin sıralamayı alması zor.

Robots.txt Hakkında Yaygın 3 Mit

Robots.txt, web yöneticilerinin arama motorlarına web sitenizdeki sayfaları taramamaları talimatını vermek için oluşturulmuş bir metin dosyasıdır. WordPress dahil olmak üzere birçok kişi, web sitelerini, içeriği ve dosyaları indekslemeyi kısıtlamak için kullanmanızı önerir.

Ancak, hepimiz robots.txt dosyalarını nasıl düzgün kullanacağımızı bilmiyoruz. Aşağıda, robots.txt hakkında çoğu kullanıcının yanlış anladığı 3 yaygın efsane bulunmaktadır.

1. Robots.txt, arama indekslemesinin engellenmesine yardımcı olur

WordPress site sahipleri, arama motorlarının sitenizi dizine eklemesini önlemek için robots.txt izin vermeme kurallarının yaygın olarak kullanıldığına inanmaktadır. Ancak bunun amacı, arama dizinleyicilerini engellemek değil, sitenize gelen tarama trafiğini yönetmektir. Örneğin, önemsiz veya benzer sayfaların taranmasını önlemek için robots.txt dosyasını kullanırsınız. Ayrıca, Google tarayıcılarından sunucunuza çok sayıda istek geldiğinde robots.txt dosyasını kullanabilirsiniz.

Arama motorlarının sitenizi dizine eklemesini engellemek için robots meta etiketi ve x-robots-tag HTTP başlığı kullanmayı düşünmelisiniz.

2. İçerik taranmadan dizine eklenmeyecek

Google, web sayfalarından sonuç üretmek için tarama, dizine ekleme ve sunma olmak üzere 3 temel adımı takip eder.

• İlk olarak, tarama , Google'ın web sitenizde bulunan tüm sayfaları keşfetmesidir. Bir sayfayı bulmak için site haritalarını okumak veya diğer sitelerden ve sayfalardan gelen bağlantıları takip etmek gibi birçok teknik kullanır.
• Ardından Google, sayfanın ne hakkında olduğunu analiz ederek ve anlayarak sayfalarınızı dizine ekler . Bu bilgiler, Google indeksi adı verilen devasa bir veritabanında saklanacaktır.
• Son olarak, Google içeriğinizi sıralamaya başlar. Birisi arama çubuğuna bir anahtar kelime girdiğinde, Google, dizinindeki en alakalı içerikle sonuçları bulur ve sunar. Bu sonuçlar, sayfa içeriği kalitesi, kullanıcının konumu, dili ve cihazı vb. dahil olmak üzere 200'den fazla faktöre dayalı olacaktır.

Bu nedenle, içeriğiniz taranmazsa dizine eklenmeyeceğini düşünebilirsiniz. robots.txt dosyası Google tarayıcılarını engellediği için arama dizine eklenmesini de engeller mi?

Aslında, robots.txt tarafından engellenen sayfalar taranmayacak, ancak diğer web sitelerinden bağlantı verildiğinde dizine eklenecektir. Sayfalarınız arama sonuçlarında görünmeye devam ediyor olabilir.

3. Robots.txt, içeriği gizlemek için kullanılır

İnsanlar, içeriğin arama sonuçlarında görünmesini engellemek için genellikle robots.txt dosyasını kullanır. Ancak robots.txt, Google'a içeriği okumamasını, analiz etmemesini ve anlamamasını söyler. Böylece arama motorları sayfalarınızı dizine eklemeleri gerekip gerekmediğini bilemezler. Sonuç olarak, Google sayfa için bir meta açıklama sağlamaz. Bunun yerine, kullanıcılar “Bu sayfa için bilgi yok. Nedenini öğrenin ”.

Robots.txt, içeriği gizlemek için KULLANILMAZ. Aslında robots.txt, Google'ın özel içeriğinizi analiz etmesini ve korumasını zorlaştırır. İçeriği etkili bir şekilde gizlemek için parola koruması veya "noindex" meta etiketi gibi diğer yöntemleri kullanmalısınız.

Belirtildiği gibi, WordPress Arama Motoru Görünürlüğü özelliği robots.txt dosyasına dayalı olarak çalışır. Bu nedenle, arama motorlarının içeriğinizi dizine eklemesini tamamen engellemez.

robots.txt sınırlamaları

robots.txt dosyasını kullanırken dikkate almanız gereken bazı sınırlamalar vardır.

1. Robots.txt dosyası herkese açıktır

Robots.txt dosyasına herkes erişebilir. Nitekim, tüm sitelerin robots.txt dosyaları kök etki alanında ve /robots.txt'de bulunur, örneğin www .example .com/robots.txt . Sayfaların ve dosyaların URL'lerini robots.txt dosyasına koyarken, yanlışlıkla istenmeyen erişimi davet etmiş olursunuz. Botlar ve kullanıcılar hangi sayfaların gizlenmesi gerektiğini bilir. Ardından, URL'leri alabilir ve bu sayfalara kolayca erişebilirler.

Bu dezavantajın üstesinden gelmek için, arama indekslemeyi devre dışı bırakmak istediğiniz tüm dosyaları ayrı bir klasörde gruplandırmanız gerekir. Ardından, dosyalarınızı bu klasöre koyun ve web'de liste dışı yapın. Bundan sonra, /robots.txt dosyasında yalnızca klasör adını listeleyin.

2. Diğer arama motoru robotları, robots.txt dosyanızı yok sayabilir

Çoğu robot robots.txt dosyanızı takip etse de, spam gönderenler tarafından kullanılan kötü amaçlı yazılım ve e-posta adresi toplayıcıları bunu görmezden gelebilir. Bu kötü robotlar, istenmeyen e-postalar göndermek için e-postalar ve formlar gibi bilgiler için sitenizi ziyaret edebilir ve tarayabilir.

WordPress sitenizin güvenliğini artırmak için güvenlik duvarları, IP engelleyiciler ve güvenlik eklentileri kullanmalısınız.

3. Her arama motoru tarayıcısı sözdizimini farklı okuyabilir

Bir robots.txt dosyasındaki sözdizimi, çoğu web tarayıcısı için uygulanır. Yine de, her biri dosyanın kurallarını farklı bir şekilde okuyabilir ve uygulayabilir. Bu, bazı tarayıcıların neden dosya izin vermeme kurallarına uymadığını ve sitenizi taramaya devam ettiğini açıklar.

Tarama trafiğini yönetmek için robots.txt dosyasına çok fazla güvenmemelisiniz.

robots.txt dosyasının önemi

Robots.txt dosyasının nasıl çalıştığını açıkça anladığınızda kullanışlı olduğu ortaya çıkıyor. İçeriğin dizine eklenmesini engellemez. Robots.txt dosyası, tarama trafiğini yönetmek ve yüklemelerin Google arama sonuçlarında görünmesini engellemek için kullanılır. Bu özellik, aşağıdaki Arama Motorlarının Dosyaları Dizine Eklemesini Engelle bölümünde tartışılacaktır.

Google'ın WordPress Sayfalarını ve Gönderilerini Dizine Eklemesini Durdurun

Tüm siteyi tarayıcılardan ve dizin oluşturuculardan uzak tutmak yerine, gizli bilgi içeren sayfalar veya teşekkür sayfaları gibi yalnızca belirli sayfaların dizinini kaldırmayı düşünebilirsiniz.

Google'ın içeriğinizi dizine eklemesini önlemek için şu 3 ayrı yoldan birini kullanın: robots meta etiketini düzenlemek, X-Robots-Tag HTTP başlığını kullanmak veya WordPress Sayfalarını ve Gönderilerini Koru eklentisini kullanmak.

1. Robots meta etiketini kullanın

(X)HTML sayfalarına noindex meta etiketi eklemek, Google'ın içeriğinizi dizine eklemesini ve arama sonuçlarında kullanılabilir hale getirmesini engeller.

Robots meta etiketini seçilen sayfanın <head> bölümüne yerleştirin, örneğin:

 <!DOCTYPE html>
<html><head>
<meta name="robotlar" content="noindex" />
(…)
</head>
<body>(…)</body>
</html>

Meta adından sonraki " robotlar " değeri, sayfanın veya gönderinin tüm tarayıcılar için geçerli olduğunu tanımlar. “ robotlar ” ifadesini, dizine eklenmesini engellemeyi düşündüğünüz belirli bir botun adıyla değiştirin, örneğin Googlebot – bir Google tarayıcısı. Ziyaretçiler, içeriğinizi Google arama sonuçlarında değil, Bing veya Ask.com gibi diğer arama motorları aracılığıyla bulabilir.

Ayrıca, farklı tarayıcıları tek tek belirtmek istemeniz durumunda, aynı anda birden fazla robots meta etiketi kullanmanız da mümkündür. Örneğin:

 <meta name="googlebot" content="noindex">
<meta name="googlebot-news" content="nosnippet">

2. x-robots-tag HTTP başlığını kullanın

Robots meta etiketine benzer şekilde, arama motorlarının sayfa düzeyindeki içeriğinizi dizine eklemesini durdurmak için X-Robots-Tag HTTP başlığını da kullanabilirsiniz. HTTP başlığınıza aşağıdaki sözdizimini yerleştirin:

 HTTP/1.1 200 TAMAM
Tarih: 25 Mayıs 2010 Salı 21:42:43 GMT
(…)
X-Robots-Tag: noindex
(…)

Robots meta etiketi ve x-robots-tag HTTP başlık yöntemleri, iyi kodlama becerilerine sahip olmayanlar için çok karmaşık görünüyor. Neyse ki, WordPress Sayfalarını ve Gönderilerini Koruyun, robots meta etiketini ve x-robots-tag HTTP başlığını kullanma şeklinizi basitleştirir.

3. WordPress Sayfalarını ve Gönderilerini Koru Eklentisini Kullanın

WordPress Sayfalarını ve Gönderilerini Koruyun, içeriğinizi, robots meta etiketi ve x-robots-tag HTTP başlığının çalışma biçimine dayalı olarak dizin oluşturuculardan gizler.

Kullanıcılar orijinal içerik URL'lerinizi bulamıyor. Bunun yerine eklenti, korumalı sayfaları ve gönderileri başkalarıyla paylaşmanıza izin veren benzersiz özel bağlantıları otomatik olarak oluşturur. Bu bağlantıları anlamlı, akılda kalıcı ve meşru kılmak için özelleştirebilirsiniz.

İçeriğin başkalarıyla geniş çapta paylaşılmasını önlemek için, birkaç gün veya tıklama içinde özel bağlantıların süresi dolabilir. Örneğin, bağlantı kullanımını bir defaya ayarlayabilirsiniz. Kullanıcılar her sayfa yüklendikten sonra bir 404 sayfası görecektir.

Arama Motorlarının WordPress Dosyalarını Dizine Eklemesini Önleyin

Robots.txt dosyalarını düzenlemek, ek sayfalarını korumak veya Doğrudan Erişimi Engelle eklentisini kullanmak gibi, dosyalarınızı web tarayıcılarına görünmez kılmak için çeşitli teknikler vardır.

1. robots.txt dosyasını düzenleyin

Yukarıda belirtildiği gibi, robots.txt dosyası, arama motorlarının tek tek web sayfalarınızı dizine eklemesini engellemez. Yalnızca PDF'ler ve HTML dışındaki medya dosyalarını Google'ın gözünden uzak tutar. Arama motorlarının hariç tutmasını istediğiniz dosyaya aşağıdaki sözdizimini yerleştirin:

 Kullanıcı aracısı: Googlebot-Image
İzin verme: /[sümüklü böcek]/

Bilgiyi, arama indekslemesini engellemek istediğiniz belirli dosya URL'leriyle güncelleyin. Belirli bir URL dizesiyle biten tüm dosyaları engellemek için dolar ($) simgesini de ekleyebilirsiniz. Örneğin:

 Kullanıcı aracısı: Googlebot
İzin verme: /*.xls$

.xls ile biten tüm dosyaların Google indekslemesi artık engellenmiştir.

2. Google'ın ek sayfalarını dizine eklemesini durdurun

Arama motorlarının dosyaları dizine eklemesini engellemenin başka bir yöntemi de ek sayfalardır.

Ekler, resimler, videolar ve sesler gibi her türlü web sitesi yüklemesini ifade eder. Bir dosya yüklenir yüklenmez WordPress, dosyayı, ilgili açıklamaları ve açıklamaları içeren bir ek sayfası oluşturur.

Çok az içerik içerdiğinden veya hiç içerik içermediğinden arama motorlarının bu sayfaları bulmasını ve sıralamasını durdurmalısınız. Bu sayfalar, bilgilendirici makaleler aramak isteyen ziyaretçileri hayal kırıklığına uğratabilir.

Google'ın, robots meta etiketini ve x-robots-tag HTTP üstbilgisini manuel olarak düzenleyerek veya Yoast SEO eklentisini kullanarak WordPress ek sayfalarınızı dizine ekleyememesini sağlayan çeşitli yollar vardır.

Ek sayfaları için robots meta etiketini ve x-robots-tag HTTP başlığını düzenlemek, standart sayfalar için meta etiketi ve x-robots-tag HTTP başlığını düzenlemekle aynı süreci takip eder. Ancak, aynı anda birden fazla dosyanın dizine eklenmesini önlemek istiyorsanız, bu yöntem çok zor ve zaman alıcı görünüyor.

3. Yoast SEO eklentisini kullanın

Dosyalarınızı Google'ın tarayıcılarından ve dizin oluşturucularından uzak tutmak için Yoast SEO'yu da kullanabilirsiniz. Eklentiyi etkinleştirin ve şu 5 adımı izleyin:

1. Yoast açılır menüsünde SEO Ayarlarına gidin
2. Arama Görünümünü Seçin
3. Medya sekmesine gidin
4. " Ek URL'lerini ekin kendisine yönlendir " seçeneğini etkinleştirin
5. Değişikliklerinizi kaydedin

4. Doğrudan Erişimi Engelle Gold eklentisini kullanın

Doğrudan Erişim Altını Engelle, arama motorlarının dosyalarınızı dizine eklemesini engeller. Robots meta etiketleri ve x-robots-tag HTTP başlıklarının aksine, eklenti herhangi bir teknik kodlama gerektirmez.

Eklenti etkinleştirildiğinde, arama indekslemeyi devre dışı bırakmak için her ek sayfasının <head> bölümüne otomatik olarak bir "noindex" meta etiketi yerleştirir.

 <meta name="robotlar" content="noindex">

Daha görsel bir rehber için bu eğitim videosuna başvurabilirsiniz.

Arama Motorunun Sitenizi Dizine Eklemesini Engellemeye Hazır mısınız?

Arama motorlarının WordPress sitelerini, içeriğini ve dosyalarını dizine eklemesini manuel olarak engellemek kolay değildir. Süreci basitleştirmek için çözümler aramanız gerekir.

Tüm sitenizi web tarayıcılarından uzak tutmak için Password Protect WordPress Pro'yu yükleyebilirsiniz. Bunun nedeni, yerleşik Okuma özelliğinin, diğer sitelerden ve sayfalardan bağlantı verilmişse tarayıcıların sitenize girip dizine eklemesine izin vermesidir.

Düzenleme meta etiketini ve X-Robots-Tag HTTP başlığını çok mu karmaşık buluyorsunuz? WordPress Sayfalarını ve Gönderilerini Koru eklentisi, sayfaları ve gönderileri otomatik olarak arama motorlarına kolayca görünmez tutar.

Doğrudan Erişim Altını Engelle eklentisi, arama motorlarının WordPress dosyalarını ve ek sayfalarını dizine eklemesini devre dışı bırakmak için size çok zaman kazandırır. Robots meta etiketi veya X-Robots-Tag HTTP başlığı ile dosyaları tek tek engellemekten daha hızlıdır.

WordPress sitenizin taranmasını ve dizine eklenmesini nasıl önleyeceğinizle ilgili herhangi bir sorunuz varsa lütfen aşağıya bir yorum bırakın.