İndeksleme, arama motorlarının web sitelerini inceleyip kendi dizinlerine yeni sayfalar olarak eklemesini ifade eder. Bu terim çoğunlukla tarama yani crawling ile karıştırılır. Tarama, http bağlantısıyla web siteleri üzerinde gezinmek ve onlardan link toplamak anlamına gelir. Yani arama motoru botlarının görevleri arasında web sitelerini taramak ve indekslemek yer alır. İndeksleme, web sitenizde depolanmış olan mevcut veriye erişmeyi sağlar. Belli kurallar doğrultusunda yapılan bu inkdesleme işlemi için genellikle uygulanan 2 yöntem vardır: Diğer sitelerden backlink alma ve site haritası kullanma. Başka sitelerden kendi web sitenize bağlantı aldığınızda, arama motoru botları o bağlantılar üzerinden sizin sitenizi tanıma olanağı edinir. Site haritası ise botların sitenizi gezinirken gerçekleştirdiği işi kolaylaştırarak indekslemeye katkıda bulunur. Ancak bu botlar taradıkları her web sitesini site yapısı, site içi link yapısı, döngülenmiş yönlendirmeler, sunucu hataları, desteklenmeyen komut dosyaları ya da tarayıcı erişimi sorunu gibi sebeplerden ötürü dizinine ekleyemeyebilir. Bir arama motoru botunun sitenize gelip rahatlıkla indeksleme yapabilmesini sağlayan etmenler arasında site haritası dosyanızın güncel ve doğru olması yer alır. Zira bu dosya sayesinde arama motoru botları web sitenizin içeriğinden ve site haritanızdaki güncellemelerden haberdar olabilir.
Botların sitenizi kendi dizinlerine eklemesine yardımcı olan bir diğer faktör de sitenizdeki iç bağlantıların kalitesi. Tarama için de önemli olan bu etken indeksleme için de oldukça mühim. Botların site içeriğinizdeki tüm sayfaları sorunsuz bulabilmesi için sayfaların birbiriyle doğru biçimde bağlanmış olduğundan emin olmalısınız. Botların sitenizi ziyaret edip indeksleme yapma olasılığı, site içeriklerinizin güncelliğiyle de yakından ilgilidir. Web sitenizde yer alan görsel, metin ya da videolar ne kadar sıklıkta güncelleniyorsa arama motoru botlarının sitenizi inceleyip dizinlerine ekleme şansı da o derece artacaktır. Bunun tam aksi, web sitenizdeki içeriklerin kopya içerikler olduğu durumda yaşanır. İçerikleriniz, başka içeriklerden kopyalandıysa, botların sitenizi dizinlerine ekleme şansını kaybedebilirsiniz. Ayrıca sitenizin yüklenme hızı da arama motoru botlarının indeksleme ve tarama işini kolaylaştıracaktır. Zira botların bu iki iş için harcamaları gereken belli bir süre vardır. Bu süre dolduğunda botlar, sitenizi taramayı ve indekslemeyi durdurarak başka sitelere yönelirler.