Robots.txt Dosyası Oluşturma

Robots.txt Oluşturma
Son Güncelleme: 04/09/2021

Robots.txt; dosyası Google, Yandex, Bing gibi arama motorlarını sitenizi nasıl tarayacağını ve dizine ekleyeceğini gösteren bir .txt metin dosyasıdır.

Robots.txt sitenizin kök dizine yüklenmektedir ve belirli URL’lere, klasör yollarına izin vermek veya engellemek için kullanılmaktadır. Eğer bir robots.txt dosyası oluşturmazsanız arama motoru botları taramak için izin verildiğini varsayarlar.

Makalemizde robots.txt nasıl oluşturulur, kötü botlar nasıl engellenir detaylıca anlatacağız.

Robots.txt Nasıl Oluşturulur?

Uzantısından anlaşılabileceği üzere robots.txt bir txt metin dosyasıdır. Bu dosyayı oluşturmak için yapmanız gereken tek şey bir Not Defteri açmak ve robots.txt olarak adlandırmaktır. Bir robots.txt dosyasının temel biçimi aşağıdaki şekildedir;

Belirli URL’lere izin vermek ya da vermemek veya birden çok site haritası eklemek için birden çok satır ekleyebilirsiniz.

Örnek robots.txt dosyası aşağıdaki gibi görünecektir;

Yukarıdaki robots.txt dosyası örneğinde, tüm botlar için /wp-content/upload/ klasörünü taranabilir URL yolu olduğunu belirttik. User-Agent: bölümünde “*” kullanarak tüm botlar için geçerli olduğunu söyledik. Eğer belirli bir bot için bu işlemleri yapmak isterseniz “*” yerine bot ismi girilmelidir. Google’ın bazı servisleri için bazı bot isimlerini aşağıdaki bağlantıyı takip ederek inceleyebilirsiniz.

https://developers.google.com/search/docs/advanced/crawling/overview-google-crawlers

Yukarıdaki örneğe göre “/demo/, /wp-admin/, /wp-content/plugins/” klasörlerinin taranmasına ve dizine eklenmesine izin vermedik. Son satırda da site haritamızın URL’sini gösterdik. Bu arama motorlarının site haritanızı bulmasını ve taranacak sayfalara kolay ulaşmasını sağlayacağı gibi SEO için de faydalı bir konudur.

Robots.txt Dosya Düzenleme

Robots.txt dosyanızı yüklemek veya düzenlemek için Filezilla gibi bir FTP erişim aracını kullanabilirsiniz.

WordPress Siteler için Robots.txt Dosyası Oluşturma:

Web siteniz için bir robots.txt dosyası oluşturmadıysanız, arama motoru botları sitenizi yine de tarar ve dizine ekler. Ancak arama motoru botlarına hangi sayfaları ve klasörleri izlemeleri gerektiğini söylememiş oluruz. Ayrıca web sitenizin SEO’su açısından da kesinlikle robots.txt dosyası eklemeniz gerekir.

WordPress bir web sitesine sahipseniz robots.txt eklemek, SEO eklentileri ile çok kolaydır. Örneğin WordPress Rank Math SEO eklentisi, All in One SEO Pack eklentisi veya Yoast SEO eklentilerinden herhangi birini halihazırda kullanıyorsanız ilgili eklentilerin robots.txt ayarlarından kolayca robots.txt dosyanızı oluşturabilirsiniz.

Robots.txt Kötü Botları Engelleme

Robots.txt ile sitenize ve SEO‘nuza zarar verebilecek bazı kötü botların listesini sizin için hazırladık;

Yukarıda kötü bot listesinin bir bölümünü paylaştık, daha kapsamlı dosyayı indirmek için aşağıdaki bağlantıyı ziyaret edebilirsiniz.

Robots.txt ile Kötü Bot Engelleme (Tam Liste)

Son olarak oluşturduğunuz robots.txt dosyalarını test etmek için Google Search Console robots test aracını kullanabilirsiniz.

Oluşturduğunuz robots.txt dosyasını dizine yükledikten sonra arama motoru botlarının dosyayı hızlıca incelemesi için Google Search Console ve Yandex Webmaster araçlarını kullanabilirsiniz. Nasıl göndereceğinizi bilmiyorsanız aşağıdaki makaleleri inceleyebilirsiniz.

Google Search Console Rehberi: SEO Başlangıç Adımları

Yandex Webmaster Aracı (2021 Kapsamlı Rehber)

Robots.txt dosyası oluşturma makalemizin sonuna geldik. Umarız bu makale SEO’nuzu geliştirmenize yardımcı olmuştur. Web sitenizi ve SEO’nuzu geliştirmek için Kapsamlı SEO Rehberi makalemizi inceleyebilirsiniz.

Makalemizi beğendiyseniz sosyal medyada paylaşırsanız memnun oluruz. Robots.txt ile ilgili yardıma ihtiyacınız olursa yorum yapmaktan çekinmeyin.

İlgili Konular

Bir cevap yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir