Robots.txt dosyası, web sitenizin kök dizininde yer alan ve Google, Yandex, Bing gibi arama motoru botlarına sitenizi nasıl tarayacağını ve dizine ekleyeceğini bildiren kritik bir metin dosyasıdır.
Bu dosya, belirli URL'lere, dizinlere veya dosya yollarına erişimi izin vermek veya tamamen engellemek için kullanılır. Eğer bir robots.txt dosyası oluşturmayı ihmal ederseniz, arama motoru botları varsayılan olarak sitenizin tamamını taramak için izin verildiğini kabul eder. Sektör verilerine bakıldığında, sitelerin %65'inin teknik SEO hizmeti kapsamında bu dosyayı doğru yapılandırdığı belirtilmektedir.
Bu kapsamlı rehberimizde, robots.txt dosyasının nasıl oluşturulacağını ve sitenizi olumsuz etkileyebilecek kötü niyetli botların nasıl engelleneceğini detaylıca ele alacağız.
Robots.txt Dosyası Nasıl Oluşturulur?
Adından da anlaşılacağı gibi robots.txt, standart bir .txt metin dosyasıdır. Bu dosyayı oluşturmak için tek yapmanız gereken bir Not Defteri (veya benzeri bir metin düzenleyici) açarak dosyayı "robots.txt" adıyla kaydetmektir.
Bir robots.txt dosyasının temel yapısı aşağıdaki yönergelerden oluşur:
1 2 3 4 5 6 7 | User-agent:[user-agentadı] Disallow:[TaranmayacakURLdizesi] User-agent:[user-agentadı] Allow:[TaranacakURLdizesi] Sitemap:[XMLSiteHaritanızınURL'si] |
İhtiyaçlarınıza göre birden fazla kural satırı ekleyerek belirli URL veya klasörlere izin verebilir veya engelleyebilirsiniz. Ayrıca birden fazla site haritası da belirtebilirsiniz.
İşte uygulamada sıkça kullanılan bir robots.txt dosyası örneği:
1 2 3 4 5 6 7 | User-Agent:* Allow:/wp-content/uploads/ Disallow:/wp-admin/ Disallow:/wp-content/plugins/ Disallow:/demo/ Sitemap:https://www.kukumav.net/sitemap.xml |
Yukarıdaki örnekte, User-Agent: * ifadesi ile tüm tarama botları için geçerli kurallar belirlediğimizi ve /wp-content/uploads/ klasörüne izin verdiğimizi görüyoruz. Buna karşılık, yönetici paneli (/wp-admin/), eklenti klasörleri (/wp-content/plugins/) ve demo içeriklerin yer aldığı /demo/ dizininin taranmasını engelledik. Son satırda ise XML site haritamızın konumunu belirterek arama motorlarının indeksleme sürecini kolaylaştırdık.
Eğer tüm botlar yerine yalnızca spesifik bir bot için kural uygulamak isterseniz, * (tümü) yerine ilgili botun adını yazmalısınız. Google botlarının kullanıcı ajanlarını incelemek için ilgili geliştirici belgelerini ziyaret edebilirsiniz:
https://developers.google.com/search/docs/advanced/crawling/overview-google-crawlers
Site haritası (Sitemap) eklemek, arama motorlarının sitenizdeki taranabilir sayfaları daha hızlı keşfetmesini sağladığı için robots.txt performansı açısından da son derece önemlidir. Site haritası, arama motorlarinin sitedeki sayfalari daha hizli kesfetmesine yardimci olan bir kesif sinyalidir. Google'in kendi dokumantasyonunda belirtildigi gibi, site haritasina eklenen bir URL'nin taranacagi ya da dizine ekleneceki garanti degildir. Siralamaya dogrudan bir etkisi de yoktur. Faydasi ozellikle cok sayfali, yeni yayina alinmis ya da ic baglanti yapisi zayif sitelerde belirginlesir.
Oluşturduğunuz robots.txt dosyasını sunucunuza yüklemek veya mevcut dosyayı düzenlemek için Filezilla gibi bir FTP istemcisi kullanabilirsiniz.
WordPress Siteler İçin Robots.txt Oluşturma ve Yapılandırma
Eğer sitenizde bir robots.txt dosyası mevcut değilse dahi, arama motoru botları sitenizi taramaya ve dizine eklemeye devam eder. Ancak, bu durum size hangi içeriğin önemli olduğunu botlara bildirmediğiniz anlamına gelir. robots.txt zorunlu bir dosya degildir; Google da onu istege bagli sayar ve dosya olmadiginda botlar sitenizi taramaya devam eder. Yine de tarama butcesini yonetmek ve yonetim paneli, arama sonucu sayfalari gibi degersiz bolumleri taramadan cikarmak isteyen siteler icin onerilir. Yanlis yapilandirilmis bir robots.txt ise hic olmamasindan daha zararli olabilir.
WordPress altyapısı kullanıyorsanız, bu işlem genellikle çok kolaydır. Rank Math SEO, All in One SEO Pack veya Yoast SEO gibi popüler SEO eklentilerinin ayarlar menülerinde, doğrudan robots.txt dosyanızı yönetebileceğiniz veya oluşturabileceğiniz özel bölümler bulunmaktadır. Bu eklentiler sayesinde kodlama bilgisine gerek kalmadan bu dosyayı düzenleyebilirsiniz.
Robots.txt ile Kötü Niyetli Botları Engelleme Stratejileri
Web sitenizin performansına, güvenliğine ve genel robots.txt durumuna zarar verebilecek bazı zararlı botlar mevcuttur. Bu botların sitenizi gereksiz yere taramasını önlemek için aşağıdaki listeyi robots.txt dosyanıza ekleyebilirsiniz:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 | User-agent:asterias Disallow:/ User-agent:bdbrandprotect Disallow:/ User-agent:BotALot Disallow:/ User-agent:BotRightHere Disallow:/ User-agent:BPImageWalker Disallow:/ User-agent:BuiltBotTough Disallow:/ User-agent:BunnySlippers Disallow:/ User-agent:CazoodleBot Disallow:/ User-agent:Cegbfeieh Disallow:/ User-agent:CheeseBot Disallow:/ User-agent:CherryPicker Disallow:/ User-agent:ConveraCrawler Disallow:/ User-agent:Copernic Disallow:/ User-agent:CopyRightCheck Disallow:/ User-agent:cosmos Disallow:/ User-agent:Crescent Disallow:/ User-agent:discobot Disallow:/ User-agent:DittoSpyder Disallow:/ User-agent:dotbot Disallow:/ User-agent:Fasterfox Disallow:/ User-agent:Fetch Disallow:/ User-agent:findlinks Disallow:/ User-agent:Foobot Disallow:/ User-agent:Gaisbot Disallow:/ User-agent:Gigabot Disallow:/ User-agent:grub Disallow:/ User-agent:heritrix Disallow:/ User-agent:hloader Disallow:/ User-agent:MIIxpc Disallow:/ User-agent:MJ12bot Disallow:/ User-agent:MLBot Disallow:/ User-agent:moget Disallow:/ User-agent:MSIECrawler Disallow:/ User-agent:NaverBot Disallow:/ User-agent:NetAnts Disallow:/ User-agent:NetMechanic Disallow:/ User-agent:searchpreview Disallow:/ User-agent:SEOENGBot Disallow:/ User-agent:ShopWiki Disallow:/ User-agent:Teleport Disallow:/ User-agent:Templeton Disallow:/ User-agent:TheNomad Disallow:/ User-agent:TightTwatBot Disallow:/ User-agent:Titan Disallow:/ User-agent:TurnitinBot Disallow:/ User-agent:TwengaBot Disallow:/ User-agent:Twiceler Disallow:/ User-agent:Updownerbot Disallow:/ User-agent:URL_Spider_Pro Disallow:/ User-agent:VCI Disallow:/ User-agent:WebAuto Disallow:/ User-agent:WebBandit Disallow:/ User-agent:WebEnhancer Disallow:/ User-agent:WebmasterWorldForumBot Disallow:/ User-agent:WebSauger Disallow:/ User-agent:WebStripper Disallow:/ User-agent:WebZIP Disallow:/ User-agent:wget Disallow:/ User-agent:woriobot Disallow:/ User-agent:Xenu Disallow:/ User-agent:YACYBIT Disallow:/ User-agent:Yeti Disallow:/ User-agent:YodaoBot Disallow:/ User-agent:Zealbot Disallow:/ User-agent:Zeus Disallow:/ User-agent:ZyBorg Disallow:/ User-agent:ranksignals Disallow:/ |
Listede, sitenizin performansını düşürebilecek veya gereksiz kaynak tüketebilecek botların büyük bir kısmı yer almaktadır. Daha kapsamlı bir kara liste için aşağıdaki kaynağı inceleyebilirsiniz:
Robots.txt dosyası, arama motoru erişimini yöneten bir dizi kuralı içeren ve kök dizinde bulunan bir metin dosyasıdır. Bu dosya, web sitesi yöneticilerine hangi bölümlerin taranacağını veya taranmayacağını belirleme yetkisi vererek kaynak yönetimini optimize eder ve gereksiz tarama isteklerini engeller.
Son olarak, oluşturduğunuz robots.txt dosyasının sitenizde doğru çalıştığından emin olmak için URL Denetleme (URL Inspection) aracı kullanılmalıdır. Search Console'daki eski "robots.txt Test Aracı" 12 Aralık 2023'te kaldırıldı; yerine Kasım 2023'te duyurulan robots.txt raporu geldi. Bu rapor Search Console > Ayarlar bölümünde yer alır ve Google'ın dosyanın en son getirdiği sürümünü, getirme durumu ile tarihini, dosya boyutunu ve varsa söz dizimi hatalarını/uyarılarını gösterir. Belirli bir URL'nin robots.txt tarafından engellenip engellenmediğini görmek için URL Denetleme (URL Inspection) aracı kullanılmalıdır.
Robots.txt dosyasini arama motorlarina ayrica "gondermeniz" gerekmez. Google tarama sirasinda degisikligi kendiliginden fark eder ve onbellekteki surumu genellikle 24 saat icinde yeniler; acil bir degisiklikte Search Console > Ayarlar > robots.txt raporundaki "Yeniden tarama iste" secenegiyle bu sureci hizlandirabilirsiniz. Eski robots.txt Test Araci ve onunla gelen gonderme dugmesi 2023 sonunda kaldirildi. Yandex tarafinda da dizinleme robotu dosyayi gunde birkac kez yeniden okudugu icin manuel bir gonderim adimi bulunmuyor. Gönderim adımlarını bilmiyorsanız ilgili rehberlerimize göz atabilirsiniz:
Robots.txt dosyası oluşturma ve yönetme konulu bu rehberimizin sonunda, web sitenizin görünürlüğünü ve genel SEO danışmanlığı stratejinizi güçlendirmek adına Kapsamlı SEO Rehberi makalemizi incelemenizi tavsiye ederiz.
Web sitenizin teknik altyapısını ve tarama kurallarını en güncel standartlara göre düzenlemek için profesyonel destek alın.
→ SEO hizmetimizi inceleyin.
