Robots.txt dosyası, web sitenizin kök dizininde yer alan ve Google, Yandex, Bing gibi arama motoru botlarına sitenizi nasıl tarayacağını ve dizine ekleyeceğini bildiren kritik bir metin dosyasıdır.
Bu dosya, belirli URL'lere, dizinlere veya dosya yollarına erişime izin vermek veya erişimi tamamen engellemek için kullanılır. Eğer bir robots.txt dosyası oluşturmayı ihmal ederseniz, arama motoru botları varsayılan olarak sitenizin tamamını taramak için izin verildiğini kabul eder. Bu dosyanın doğru yapılandırılması, profesyonel bir teknik SEO hizmeti kapsamında ele alınan temel adımlardan biridir.
Bu kapsamlı rehberimizde, robots.txt dosyasının nasıl oluşturulacağını ve sitenizi olumsuz etkileyebilecek kötü niyetli botların nasıl engelleneceğini detaylıca ele alacağız.
Robots.txt Dosyası Nasıl Oluşturulur?
Adından da anlaşılacağı gibi robots.txt, standart bir .txt metin dosyasıdır. Bu dosyayı oluşturmak için tek yapmanız gereken bir Not Defteri (veya benzeri bir metin düzenleyici) açarak dosyayı "robots.txt" adıyla kaydetmektir.
Bir robots.txt dosyasının temel yapısı aşağıdaki yönergelerden oluşur:
1 2 3 4 5 6 7 | User-agent:[user-agentadı] Disallow:[TaranmayacakURLdizesi] User-agent:[user-agentadı] Allow:[TaranacakURLdizesi] Sitemap:[XMLSiteHaritanızınURL'si] |
İhtiyaçlarınıza göre birden fazla kural satırı ekleyerek belirli URL veya klasörlere izin verebilir veya engelleyebilirsiniz. Ayrıca birden fazla site haritası da belirtebilirsiniz.
İşte uygulamada sıkça kullanılan bir robots.txt dosyası örneği:
1 2 3 4 5 6 7 | User-Agent:* Allow:/wp-content/uploads/ Disallow:/wp-admin/ Disallow:/wp-content/plugins/ Disallow:/demo/ Sitemap:https://www.kukumav.net/sitemap.xml |
Yukarıdaki örnekte, User-Agent: * ifadesi ile tüm tarama botları için geçerli kurallar belirlediğimizi ve /wp-content/uploads/ klasörüne izin verdiğimizi görüyoruz. Buna karşılık, yönetici paneli (/wp-admin/), eklenti klasörleri (/wp-content/plugins/) ve demo içeriklerin yer aldığı /demo/ dizininin taranmasını engelledik. Son satırda ise XML site haritamızın konumunu belirterek arama motorlarının indeksleme sürecini kolaylaştırdık.
Eğer tüm botlar yerine yalnızca spesifik bir bot için kural uygulamak isterseniz, * (tümü) yerine ilgili botun adını yazmalısınız. Google botlarının kullanıcı ajanlarını incelemek için ilgili geliştirici belgelerini ziyaret edebilirsiniz:
https://developers.google.com/search/docs/advanced/crawling/overview-google-crawlers
Site haritası, arama motorlarının sitedeki sayfaları daha hızlı keşfetmesine yardımcı olan bir keşif sinyalidir. Google'ın kendi dokümantasyonunda belirtildiği gibi, site haritasına eklenen bir URL'nin taranacağı ya da dizine ekleneceği garanti değildir. Sıralamaya doğrudan bir etkisi de yoktur. Faydası özellikle çok sayfalı, yeni yayına alınmış ya da iç bağlantı yapısı zayıf sitelerde belirginleşir.
Oluşturduğunuz robots.txt dosyasını sunucunuza yüklemek veya mevcut dosyayı düzenlemek için Filezilla gibi bir FTP istemcisi kullanabilirsiniz.
WordPress Siteler İçin Robots.txt Oluşturma ve Yapılandırma
Eğer sitenizde bir robots.txt dosyası mevcut değilse dahi, arama motoru botları sitenizi taramaya ve dizine eklemeye devam eder. Ancak, bu durum size hangi içeriğin önemli olduğunu botlara bildirmediğiniz anlamına gelir. robots.txt zorunlu bir dosya değildir; Google da onu isteğe bağlı sayar ve dosya olmadığında botlar sitenizi taramaya devam eder. Yine de tarama bütçesini yönetmek ve yönetim paneli, arama sonucu sayfaları gibi değersiz bölümleri taramadan çıkarmak isteyen siteler için önerilir. Yanlış yapılandırılmış bir robots.txt ise hiç olmamasından daha zararlı olabilir.
WordPress altyapısı kullanıyorsanız, bu işlem genellikle çok kolaydır. Rank Math SEO, All in One SEO Pack veya Yoast SEO gibi popüler SEO eklentilerinin ayarlar menülerinde, doğrudan robots.txt dosyanızı yönetebileceğiniz veya oluşturabileceğiniz özel bölümler bulunmaktadır. Bu eklentiler sayesinde kodlama bilgisine gerek kalmadan bu dosyayı düzenleyebilirsiniz.
Robots.txt ile Kötü Niyetli Botları Engelleme Stratejileri
Web sitenizin performansına ve güvenliğine zarar verebilecek bazı zararlı botlar mevcuttur. Bu botların sitenizi gereksiz yere taramasını önlemek için aşağıdaki listeyi robots.txt dosyanıza ekleyebilirsiniz:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 | User-agent:asterias Disallow:/ User-agent:bdbrandprotect Disallow:/ User-agent:BotALot Disallow:/ User-agent:BotRightHere Disallow:/ User-agent:BPImageWalker Disallow:/ User-agent:BuiltBotTough Disallow:/ User-agent:BunnySlippers Disallow:/ User-agent:CazoodleBot Disallow:/ User-agent:Cegbfeieh Disallow:/ User-agent:CheeseBot Disallow:/ User-agent:CherryPicker Disallow:/ User-agent:ConveraCrawler Disallow:/ User-agent:Copernic Disallow:/ User-agent:CopyRightCheck Disallow:/ User-agent:cosmos Disallow:/ User-agent:Crescent Disallow:/ User-agent:discobot Disallow:/ User-agent:DittoSpyder Disallow:/ User-agent:dotbot Disallow:/ User-agent:Fasterfox Disallow:/ User-agent:Fetch Disallow:/ User-agent:findlinks Disallow:/ User-agent:Foobot Disallow:/ User-agent:Gaisbot Disallow:/ User-agent:Gigabot Disallow:/ User-agent:grub Disallow:/ User-agent:heritrix Disallow:/ User-agent:hloader Disallow:/ User-agent:MIIxpc Disallow:/ User-agent:MJ12bot Disallow:/ User-agent:MLBot Disallow:/ User-agent:moget Disallow:/ User-agent:MSIECrawler Disallow:/ User-agent:NaverBot Disallow:/ User-agent:NetAnts Disallow:/ User-agent:NetMechanic Disallow:/ User-agent:searchpreview Disallow:/ User-agent:SEOENGBot Disallow:/ User-agent:ShopWiki Disallow:/ User-agent:Teleport Disallow:/ User-agent:Templeton Disallow:/ User-agent:TheNomad Disallow:/ User-agent:TightTwatBot Disallow:/ User-agent:Titan Disallow:/ User-agent:TurnitinBot Disallow:/ User-agent:TwengaBot Disallow:/ User-agent:Twiceler Disallow:/ User-agent:Updownerbot Disallow:/ User-agent:URL_Spider_Pro Disallow:/ User-agent:VCI Disallow:/ User-agent:WebAuto Disallow:/ User-agent:WebBandit Disallow:/ User-agent:WebEnhancer Disallow:/ User-agent:WebmasterWorldForumBot Disallow:/ User-agent:WebSauger Disallow:/ User-agent:WebStripper Disallow:/ User-agent:WebZIP Disallow:/ User-agent:wget Disallow:/ User-agent:woriobot Disallow:/ User-agent:Xenu Disallow:/ User-agent:YACYBIT Disallow:/ User-agent:Yeti Disallow:/ User-agent:YodaoBot Disallow:/ User-agent:Zealbot Disallow:/ User-agent:Zeus Disallow:/ User-agent:ZyBorg Disallow:/ User-agent:ranksignals Disallow:/ |
Listede, sitenizin performansını düşürebilecek veya gereksiz kaynak tüketebilecek botların büyük bir kısmı yer almaktadır. Daha kapsamlı bir kara liste için aşağıdaki kaynağı inceleyebilirsiniz:
Robots.txt dosyası, arama motoru erişimini yöneten bir dizi kuralı içeren ve kök dizinde bulunan bir metin dosyasıdır. Bu dosya, web sitesi yöneticilerine hangi bölümlerin taranacağını veya taranmayacağını belirleme yetkisi vererek kaynak yönetimini optimize eder ve gereksiz tarama isteklerini engeller.
Son olarak, oluşturduğunuz robots.txt dosyasının sitenizde doğru çalıştığından emin olmak için URL Denetleme (URL Inspection) aracı kullanılmalıdır. Search Console'daki eski "robots.txt Test Aracı" 12 Aralık 2023'te kaldırıldı; yerine Kasım 2023'te duyurulan robots.txt raporu geldi. Bu rapor Search Console > Ayarlar bölümünde yer alır ve Google'ın dosyanın en son getirdiği sürümünü, getirme durumu ile tarihini, dosya boyutunu ve varsa söz dizimi hatalarını/uyarılarını gösterir. Belirli bir URL'nin robots.txt tarafından engellenip engellenmediğini görmek için URL Denetleme (URL Inspection) aracı kullanılmalıdır.
Robots.txt dosyasını arama motorlarına ayrıca "göndermeniz" gerekmez. Google tarama sırasında değişikliği kendiliğinden fark eder ve önbellekteki sürümü genellikle 24 saat içinde yeniler; acil bir değişiklikte Search Console > Ayarlar > robots.txt raporundaki "Yeniden tarama iste" seçeneğiyle bu süreci hızlandırabilirsiniz. Eski robots.txt Test Aracı ve onunla gelen gönderme düğmesi 2023 sonunda kaldırıldı. Yandex tarafında da dizinleme robotu dosyayı günde birkaç kez yeniden okuduğu için manuel bir gönderim adımı bulunmuyor. Search Console ve Yandex Webmaster araçlarını nasıl kullanacağınızı bilmiyorsanız ilgili rehberlerimize göz atabilirsiniz:
Robots.txt dosyası oluşturma ve yönetme konulu bu rehberimizin sonunda, web sitenizin görünürlüğünü ve genel SEO stratejinizi güçlendirmek adına Kapsamlı SEO Rehberi makalemizi incelemenizi tavsiye ederiz.
Web sitenizin teknik altyapısını ve tarama kurallarını en güncel standartlara göre düzenlemek için profesyonel destek alın.
→ SEO hizmetimizi inceleyin.
