Robots.txt; dosyası Google, Yandex, Bing gibi arama motorlarını sitenizi nasıl tarayacağını ve dizine ekleyeceğini gösteren bir .txt metin dosyasıdır.
Robots.txt sitenizin kök dizine yüklenmektedir ve belirli URL’lere, klasör yollarına izin vermek veya engellemek için kullanılmaktadır. Eğer bir robots.txt dosyası oluşturmazsanız arama motoru botları taramak için izin verildiğini varsayarlar.
Makalemizde robots.txt nasıl oluşturulur, kötü botlar nasıl engellenir detaylıca anlatacağız.
Robots.txt Nasıl Oluşturulur?
Uzantısından anlaşılabileceği üzere robots.txt bir txt metin dosyasıdır. Bu dosyayı oluşturmak için yapmanız gereken tek şey bir Not Defteri açmak ve robots.txt olarak adlandırmaktır. Bir robots.txt dosyasının temel biçimi aşağıdaki şekildedir;
|
1 2 3 4 5 6 7 |
User-agent: [user-agent adı] Disallow: [Taranmayacak URL dizesi] User-agent: [user-agent adı] Allow: [Taranacak URL dizesi] Sitemap: [XML Site Haritanızın URL'si] |
Belirli URL’lere izin vermek ya da vermemek veya birden çok site haritası eklemek için birden çok satır ekleyebilirsiniz.
Örnek robots.txt dosyası aşağıdaki gibi görünecektir;
|
1 2 3 4 5 6 7 |
User-Agent: * Allow: /wp-content/uploads/ Disallow: /wp-admin/ Disallow: /wp-content/plugins/ Disallow: /demo/ Sitemap: https://www.kukumav.net/sitemap.xml |
Yukarıdaki robots.txt dosyası örneğinde, tüm botlar için /wp-content/upload/ klasörünü taranabilir URL yolu olduğunu belirttik. User-Agent: bölümünde “*” kullanarak tüm botlar için geçerli olduğunu söyledik. Eğer belirli bir bot için bu işlemleri yapmak isterseniz “*” yerine bot ismi girilmelidir. Google’ın bazı servisleri için bazı bot isimlerini aşağıdaki bağlantıyı takip ederek inceleyebilirsiniz.
https://developers.google.com/search/docs/advanced/crawling/overview-google-crawlers
Yukarıdaki örneğe göre “/demo/, /wp-admin/, /wp-content/plugins/” klasörlerinin taranmasına ve dizine eklenmesine izin vermedik. Son satırda da site haritamızın URL’sini gösterdik. Bu arama motorlarının site haritanızı bulmasını ve taranacak sayfalara kolay ulaşmasını sağlayacağı gibi SEO için de faydalı bir konudur.
Robots.txt dosyanızı yüklemek veya düzenlemek için Filezilla gibi bir FTP erişim aracını kullanabilirsiniz.
WordPress Siteler için Robots.txt Dosyası Oluşturma:
Web siteniz için bir robots.txt dosyası oluşturmadıysanız, arama motoru botları sitenizi yine de tarar ve dizine ekler. Ancak arama motoru botlarına hangi sayfaları ve klasörleri izlemeleri gerektiğini söylememiş oluruz. Ayrıca web sitenizin SEO’su açısından da kesinlikle robots.txt dosyası eklemeniz gerekir.
WordPress altp yapısına bir web sitesine sahipseniz robots.txt eklemek, WordPress SEO eklentileri ile çok kolaydır. Örneğin WordPress Rank Math SEO eklentisi, All in One SEO Pack eklentisi veya Yoast SEO eklentilerinden herhangi birini halihazırda kullanıyorsanız ilgili eklentilerin robots.txt ayarlarından kolayca robots.txt dosyanızı oluşturabilirsiniz.
Robots.txt Kötü Botları Engelleme
Robots.txt ile sitenize ve SEO‘nuza zarar verebilecek bazı kötü botların listesini sizin için hazırladık;
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 |
User-agent: asterias Disallow: / User-agent: bdbrandprotect Disallow: / User-agent: BotALot Disallow: / User-agent: BotRightHere Disallow: / User-agent: BPImageWalker Disallow: / User-agent: BuiltBotTough Disallow: / User-agent: BunnySlippers Disallow: / User-agent: CazoodleBot Disallow: / User-agent: Cegbfeieh Disallow: / User-agent: CheeseBot Disallow: / User-agent: CherryPicker Disallow: / User-agent: ConveraCrawler Disallow: / User-agent: Copernic Disallow: / User-agent: CopyRightCheck Disallow: / User-agent: cosmos Disallow: / User-agent: Crescent Disallow: / User-agent: discobot Disallow: / User-agent: DittoSpyder Disallow: / User-agent: dotbot Disallow: / User-agent: Fasterfox Disallow: / User-agent: Fetch Disallow: / User-agent: findlinks Disallow: / User-agent: Foobot Disallow: / User-agent: Gaisbot Disallow: / User-agent: Gigabot Disallow: / User-agent: grub Disallow: / User-agent: heritrix Disallow: / User-agent: hloader Disallow: / User-agent: MIIxpc Disallow: / User-agent: MJ12bot Disallow: / User-agent: MLBot Disallow: / User-agent: moget Disallow: / User-agent: MSIECrawler Disallow: / User-agent: NaverBot Disallow: / User-agent: NetAnts Disallow: / User-agent: NetMechanic Disallow: / User-agent: searchpreview Disallow: / User-agent: SEOENGBot Disallow: / User-agent: ShopWiki Disallow: / User-agent: Teleport Disallow: / User-agent: Templeton Disallow: / User-agent: TheNomad Disallow: / User-agent: TightTwatBot Disallow: / User-agent: Titan Disallow: / User-agent: TurnitinBot Disallow: / User-agent: TwengaBot Disallow: / User-agent: Twiceler Disallow: / User-agent: Updownerbot Disallow: / User-agent: URL_Spider_Pro Disallow: / User-agent: VCI Disallow: / User-agent: WebAuto Disallow: / User-agent: WebBandit Disallow: / User-agent: WebEnhancer Disallow: / User-agent: WebmasterWorldForumBot Disallow: / User-agent: WebSauger Disallow: / User-agent: WebStripper Disallow: / User-agent: WebZIP Disallow: / User-agent: wget Disallow: / User-agent: woriobot Disallow: / User-agent: Xenu Disallow: / User-agent: YACYBIT Disallow: / User-agent: Yeti Disallow: / User-agent: YodaoBot Disallow: / User-agent: Zealbot Disallow: / User-agent: Zeus Disallow: / User-agent: ZyBorg Disallow: / User-agent: ranksignals Disallow: / |
Yukarıda kötü bot listesinin bir bölümünü paylaştık, daha kapsamlı dosyayı indirmek için aşağıdaki bağlantıyı ziyaret edebilirsiniz.
Son olarak oluşturduğunuz robots.txt dosyalarını test etmek için Google Search Console robots test aracını kullanabilirsiniz.
Oluşturduğunuz robots.txt dosyasını dizine yükledikten sonra arama motoru botlarının dosyayı hızlıca incelemesi için Google Search Console ve Yandex Webmaster araçlarını kullanabilirsiniz. Nasıl göndereceğinizi bilmiyorsanız aşağıdaki makaleleri inceleyebilirsiniz.
Robots.txt dosyası oluşturma makalemizin sonuna geldik. Umarız bu makale SEO’nuzu geliştirmenize yardımcı olmuştur. Web sitenizi ve SEO’nuzu geliştirmek için Kapsamlı SEO Rehberi makalemizi inceleyebilirsiniz.
Makalemizi beğendiyseniz sosyal medyada paylaşırsanız memnun oluruz. Robots.txt ile ilgili yardıma ihtiyacınız olursa yorum yapmaktan çekinmeyin.
Kukumav.Net Dijital Pazarlama Ajansı kurucusu. SEO, Google Ads, WordPress, e-ticaret ve sosyal medya reklamları konusunda uzman.
