Robots.txt dosyası, web sitenizin kök dizininde yer alan ve Google, Yandex, Bing gibi arama motoru botlarına sitenizi nasıl tarayacağını ve dizine ekleyeceğini bildiren kritik bir metin dosyasıdır.
Bu dosya, belirli URL'lere, dizinlere veya dosya yollarına erişimi izin vermek veya tamamen engellemek için kullanılır. Eğer bir robots.txt dosyası oluşturmayı ihmal ederseniz, arama motoru botları varsayılan olarak sitenizin tamamını taramak için izin verildiğini kabul eder. Sektör verilerine bakıldığında, sitelerin %65'inin teknik SEO hizmeti kapsamında bu dosyayı doğru yapılandırdığı belirtilmektedir.
Bu kapsamlı rehberimizde, robots.txt dosyasının nasıl oluşturulacağını ve sitenizi olumsuz etkileyebilecek kötü niyetli botların nasıl engelleneceğini detaylıca ele alacağız.
Robots.txt Dosyası Nasıl Oluşturulur?
Adından da anlaşılacağı gibi robots.txt, standart bir .txt metin dosyasıdır. Bu dosyayı oluşturmak için tek yapmanız gereken bir Not Defteri (veya benzeri bir metin düzenleyici) açarak dosyayı "robots.txt" adıyla kaydetmektir.
Bir robots.txt dosyasının temel yapısı aşağıdaki yönergelerden oluşur:
1 2 3 4 5 6 7 | User-agent:[user-agentadı] Disallow:[TaranmayacakURLdizesi] User-agent:[user-agentadı] Allow:[TaranacakURLdizesi] Sitemap:[XMLSiteHaritanızınURL'si] |
İhtiyaçlarınıza göre birden fazla kural satırı ekleyerek belirli URL veya klasörlere izin verebilir veya engelleyebilirsiniz. Ayrıca birden fazla site haritası da belirtebilirsiniz.
İşte uygulamada sıkça kullanılan bir robots.txt dosyası örneği:
1 2 3 4 5 6 7 | User-Agent:* Allow:/wp-content/uploads/ Disallow:/wp-admin/ Disallow:/wp-content/plugins/ Disallow:/demo/ Sitemap:https://www.kukumav.net/sitemap.xml |
Yukarıdaki örnekte, User-Agent: * ifadesi ile tüm tarama botları için geçerli kurallar belirlediğimizi ve /wp-content/uploads/ klasörüne izin verdiğimizi görüyoruz. Buna karşılık, yönetici paneli (/wp-admin/), eklenti klasörleri (/wp-content/plugins/) ve demo içeriklerin yer aldığı /demo/ dizininin taranmasını engelledik. Son satırda ise XML site haritamızın konumunu belirterek arama motorlarının indeksleme sürecini kolaylaştırdık.
Eğer tüm botlar yerine yalnızca spesifik bir bot için kural uygulamak isterseniz, * (tümü) yerine ilgili botun adını yazmalısınız. Google botlarının kullanıcı ajanlarını incelemek için ilgili geliştirici belgelerini ziyaret edebilirsiniz:
https://developers.google.com/search/docs/advanced/crawling/overview-google-crawlers
Site haritası (Sitemap) eklemek, arama motorlarının sitenizdeki taranabilir sayfaları daha hızlı keşfetmesini sağladığı için robots.txt performansı açısından da son derece önemlidir. Ayrıca, güncel verilere göre, site haritası sağlayan sitelerin Google'da ortalama %18 daha fazla sayfa dizine eklediği gözlemlenmiştir.
Oluşturduğunuz robots.txt dosyasını sunucunuza yüklemek veya mevcut dosyayı düzenlemek için Filezilla gibi bir FTP istemcisi kullanabilirsiniz.
WordPress Siteler İçin Robots.txt Oluşturma ve Yapılandırma
Eğer sitenizde bir robots.txt dosyası mevcut değilse dahi, arama motoru botları sitenizi taramaya ve dizine eklemeye devam eder. Ancak, bu durum size hangi içeriğin önemli olduğunu botlara bildirmediğiniz anlamına gelir. Web sitenizin teknik robots.txt sağlığı için bu dosyayı oluşturmak ve doğru yapılandırmak zorunludur.
WordPress altyapısı kullanıyorsanız, bu işlem genellikle çok kolaydır. Rank Math SEO, All in One SEO Pack veya Yoast SEO gibi popüler SEO eklentilerinin ayarlar menülerinde, doğrudan robots.txt dosyanızı yönetebileceğiniz veya oluşturabileceğiniz özel bölümler bulunmaktadır. Bu eklentiler sayesinde kodlama bilgisine gerek kalmadan bu dosyayı düzenleyebilirsiniz.
Robots.txt ile Kötü Niyetli Botları Engelleme Stratejileri
Web sitenizin performansına, güvenliğine ve genel robots.txt durumuna zarar verebilecek bazı zararlı botlar mevcuttur. Bu botların sitenizi gereksiz yere taramasını önlemek için aşağıdaki listeyi robots.txt dosyanıza ekleyebilirsiniz:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 | User-agent:asterias Disallow:/ User-agent:bdbrandprotect Disallow:/ User-agent:BotALot Disallow:/ User-agent:BotRightHere Disallow:/ User-agent:BPImageWalker Disallow:/ User-agent:BuiltBotTough Disallow:/ User-agent:BunnySlippers Disallow:/ User-agent:CazoodleBot Disallow:/ User-agent:Cegbfeieh Disallow:/ User-agent:CheeseBot Disallow:/ User-agent:CherryPicker Disallow:/ User-agent:ConveraCrawler Disallow:/ User-agent:Copernic Disallow:/ User-agent:CopyRightCheck Disallow:/ User-agent:cosmos Disallow:/ User-agent:Crescent Disallow:/ User-agent:discobot Disallow:/ User-agent:DittoSpyder Disallow:/ User-agent:dotbot Disallow:/ User-agent:Fasterfox Disallow:/ User-agent:Fetch Disallow:/ User-agent:findlinks Disallow:/ User-agent:Foobot Disallow:/ User-agent:Gaisbot Disallow:/ User-agent:Gigabot Disallow:/ User-agent:grub Disallow:/ User-agent:heritrix Disallow:/ User-agent:hloader Disallow:/ User-agent:MIIxpc Disallow:/ User-agent:MJ12bot Disallow:/ User-agent:MLBot Disallow:/ User-agent:moget Disallow:/ User-agent:MSIECrawler Disallow:/ User-agent:NaverBot Disallow:/ User-agent:NetAnts Disallow:/ User-agent:NetMechanic Disallow:/ User-agent:searchpreview Disallow:/ User-agent:SEOENGBot Disallow:/ User-agent:ShopWiki Disallow:/ User-agent:Teleport Disallow:/ User-agent:Templeton Disallow:/ User-agent:TheNomad Disallow:/ User-agent:TightTwatBot Disallow:/ User-agent:Titan Disallow:/ User-agent:TurnitinBot Disallow:/ User-agent:TwengaBot Disallow:/ User-agent:Twiceler Disallow:/ User-agent:Updownerbot Disallow:/ User-agent:URL_Spider_Pro Disallow:/ User-agent:VCI Disallow:/ User-agent:WebAuto Disallow:/ User-agent:WebBandit Disallow:/ User-agent:WebEnhancer Disallow:/ User-agent:WebmasterWorldForumBot Disallow:/ User-agent:WebSauger Disallow:/ User-agent:WebStripper Disallow:/ User-agent:WebZIP Disallow:/ User-agent:wget Disallow:/ User-agent:woriobot Disallow:/ User-agent:Xenu Disallow:/ User-agent:YACYBIT Disallow:/ User-agent:Yeti Disallow:/ User-agent:YodaoBot Disallow:/ User-agent:Zealbot Disallow:/ User-agent:Zeus Disallow:/ User-agent:ZyBorg Disallow:/ User-agent:ranksignals Disallow:/ |
Listede, sitenizin performansını düşürebilecek veya gereksiz kaynak tüketebilecek botların büyük bir kısmı yer almaktadır. Daha kapsamlı bir kara liste için aşağıdaki kaynağı inceleyebilirsiniz:
Robots.txt dosyası, arama motoru erişimini yöneten bir dizi kuralı içeren ve kök dizinde bulunan bir metin dosyasıdır. Bu dosya, web sitesi yöneticilerine hangi bölümlerin taranacağını veya taranmayacağını belirleme yetkisi vererek kaynak yönetimini optimize eder ve gereksiz tarama isteklerini engeller.
Son olarak, oluşturduğunuz robots.txt dosyasının sitenizde doğru çalıştığından emin olmak için Google Search Console'un robot test aracını kullanabilirsiniz. Bu araç, belirlediğiniz kısıtlamaların botlar tarafından doğru algılandığını doğrulamanıza olanak tanır.
Dosyayı yükledikten sonra, arama motorlarının bu değişikliği hızlıca fark etmesi için Google Search Console ve Yandex Webmaster araçları üzerinden manuel olarak gönderme yapmanız önerilir. Gönderim adımlarını bilmiyorsanız ilgili rehberlerimize göz atabilirsiniz:
Robots.txt dosyası oluşturma ve yönetme konulu bu rehberimizin sonunda, web sitenizin görünürlüğünü ve genel SEO danışmanlığı stratejinizi güçlendirmek adına Kapsamlı SEO Rehberi makalemizi incelemenizi tavsiye ederiz.
Web sitenizin teknik altyapısını ve tarama kurallarını en güncel standartlara göre düzenlemek için profesyonel destek alın.
→ SEO hizmetimizi inceleyin.
