Robots Güvenliği

Ne oldu?

Robots.txt, arama motoru botlarına bazı talimatların verildiği ve genel olarak hangi sayfalara erişebilecekleri konusunda bilgilendirildikleri bir metin dosyasıdır. Bu dosya; kolay erişilebilir ve hızlı bir şekilde okunup anlaşılabilen, web sitelerini tarayan botlara bilgi veren ve iyi amaçlara hizmet eden txt uzantılı bir dosyadır. Robots.txt dosyasından faydalanarak bazı sayfalarımızın ve hatta web sitemizin tamamının botlar tarafından kapatılmasını veya incelenmesini sağlayabiliriz.

Yanlış bir yapılandırma sonrasında siteye çok riskli zararlar verebilen bu dosya ne yazık ki birçok kişi tarafından site performansını olumsuz etkileyebilecek şekilde kötüye kullanılabiliyor.

Nasıl Çalışıyor?

Arama motorlarının iyi niyetli botları sitenizi taramadan önce ilk olarak bu dosyayı inceler. Bu yönerge sayesinde sitenizde hangi noktalara bakacağını öğrenir. Bu nedenle robots.txt dosyasındaki tüm komutların doğru olduğundan emin olmak gerekir. Aksi takdirde sisteminizin tamamı ya da büyük bir kısmı taramaya kapatılabilir, bu da SEO’yu olumsuz etkileyecektir ve bunun farkına varmak uzun zaman alabilir.

Ayrıca kötü niyetli botlar bu dosyanın içeriğini kendi amaçları doğrultusunda kötüye kullanabilirler. Oldukça kapsamlı olan bu dosya ile kötü niyetli botlar tarafından güvenlik açıklarını bulmak, siteye sızmak, ziyaret etmek veya taranmasını istemediğiniz kısımlara erişmek için kullanılabilir.

Bu noktada indekslenmesini istemediğiniz sayfaları robots.txt dosyasına URL olarak sıralamak gizlilik için en yanlış yöntemlerden biri haline gelebilir ve güvenlik önlemi almaya çalışırken tam tersi davranıyor olabilirsiniz.