Robot engelleme protokolü (Robots.txt), Google gibi arama motorlarının botlarına web sitenizin hangi bölümlerini ne şekilde tarayabileceğini belirtebileceğiniz txt dokümanına verilen isimdir. Bu sayede arama motoru botlarına sitenizin hangi bölümlerinin dizine eklenebileceğini, hangi dizini taraması gerektiğini belirtebilirsiniz. Basit bir komut dosyası olan Robots.txt, aynı zamanda arama motorları yazılımlarının bir web sitesine uğradığında taradığı ilk dosyadır. Bu dosyadaki komutlara göre de web sitelerinin izin verilen bölümlerini dizine ekler. Dolayısıyla istediğiniz şekilde bir tarama için Robots.txt komut dosyasını web siteniz için hazırda bulundurmanız elzem. Bir benzetme ile ifade etmek gerekirse de; Robots.txt, yani robot engelleme protokolü web sitenizin sınır kapılarını kontrol eder. Arama motorlarının botlarının web sitenizin hangi sınır kapılarından girebileceğini bu sayede belirleyebilirsiniz. Bu, aynı zamanda arama motorları botlarının web sitenizin hangi bölümlerine giremeyeceğini belirtmenize de yarar. Robots.txt dosyası ve dosyanın içeriği komutlar doğru bir şekilde hazırlandıysa, arama motorlarının botları da bu direktiflere harfiyen uyar ve sitenizi verdiğiniz direktifler doğrultusunda tarar. Bu işlem, robot engelleme protokolü ya da diğer adı ile robotları engelleme standardıdır.
Dolayısıyla Robots.txt dosyaları, her web sitesinde mutlaka olmalıdır. Bu dosyada belirtilen kural ve direktiflere bağlı olarak taranacak URL’lerin bir listesi oluşturulur. Google, Bing gibi çoğu büyük arama motorunun botları Robots.txt dosyasında belirtilen direktifleri tanır ve kabul eder. Robots.txt komut dosyasının pratikte sunduğu birkaç avantaj ve kolaylığı da şu şekilde sıralayabiliriz: Google’ın web sitenizdeki önemsiz ya da benzer sayfaları tarayarak tarama bütçesini boşa harcamasını önleyebilirsiniz. Robot engelleme protokolü, arama motoru botlarının nereye ne zaman gideceği konusunda direktifler ile donatıldığından bu sorunun önüne kolayca geçmeniz mümkün. Bunun yanı sıra bir Robots.txt dosyası, herkese açık olmayan sayfaları engellemeye de yarayabilir. Web sitenizde dizine alınmasını istemediğiniz sayfalar olabilir. Bu durumda da Robots.txt dosyası imdadınıza yetişebilir. Peki bu dosya nasıl hazırlanır? Sitenizin kök dizinine yerleştirmeniz gereken Robots.txt, web sitenizin URL’si ile de aynı formatta olmalı. Bunun için Support Google web sitesinde sunulan Robots.txt oluşturma / test etme sayfasından işlemlerinizi kolay bir şekilde gerçekleştirebilirsiniz.