İçindekiler
Caffein Algoritması, 2010 yılında Google tarafından duyrulmuş en büyük güncellemelerden biridir. Bu algoritma güncellemesi Google için daha verimli veri taraması yapması ve daha güncel içeriklerin indekslenmesini (dizine alınmasını) sağlamak amacıyla geliştirildi. Caffeine Güncellemesi, Google’ın 2003 yılında yapmış olduğu ilk büyük güncelleme olan Florida Güncellemesi’nin ardından yapılmış en köklü güncellemedir. Değiştirilen indeks yapısında yeni içeriklere yer verilmesinden dolayı sıralamaları ciddi şekilde etkiledi. Güncelleme sonrasında SERP’de bulunan içeriklerin %50’si yeni içerikler tarafından oluşmaya başladı.
Google Caffeine Algoritması’nı Neden Başlattı?
“Google Caffeine Update” adı ile de bilinen Caffeine Güncellemesi, daha güncel olan içeriklerin indekslemesinde etkili bir rol oynuyor. Bu algoritmanın yaratmış olduğu en büyük fark indeksleme noktasında görülüyor. Önceden kullanılan MapReduce motorunun yeni URL’leri fark etme ve indekse alma süreci uzun ve maliyetliydi. Caffeine Algoritması içerisinde kullanılmaya başlanan Percolator bu sürecin daha verimli ve güncel olmasına olanak sağladı. Percolator öncesi arama sonuçları daha eski içeriklere yer veriyordu. Bu motor Google’ın tarama, veri toplama ve çok hızlı indeksleme yapmasına olanak tanıdı. Şimdi Caffeine Algoritması ve öncesinde kullanılan sistemler hakkında biraz derinlere inelim…
Neden Bu İndeks Sistemine Geçildi?
Caffeine Güncellemesi’nden önce bir web sitesinin indekslenebilmesi için arka planda uzun soluklu süreçlerden geçiliyordu. Hantal ve yavaş olan indeksleme sürecini geliştirebilmek adına Google tarafından birçok tool (araç) geliştirilip indeks süreci de hızlandırılmaya için çalışıldı. Yeni algoritma ve araçların çıkmasını sağlayan MapReduce kavramından söz ediyorum.
Google Arama Sonuçlarındaki Etkileri Neler?
Caffeine Algoritması, diğer algoritma güncellemelerinin aksine sıralamalarla ilgili major bir etki yaratmadı. Pek tabii bazı siteler sıralama ve organik trafik tarafında düşüşler yaşadı. Çünkü bu algoritma yeni içeriklerin indekslenmesinin önünü açtığı gibi web içeriklerinin güncelliğini de arttırdı. Yani bu algoritmanın hayata geçmesi ardından daha büyük veriler içerisinden, daha hızlı tarama yaparak, daha yeni sonuçlara yer verecek ve en güncel içeriklerle kullanıcıları buluşturmaktı.
Map Reduce:
Map Reduce, Google’ın indeksleyeceği büyük verileri katmanlı bir şekilde işleyen ve sunan sistemdi. Büyük veri kümesini ayırarak başlayan süreç sonrasında bu verileri gruplayıp en alakalı sonucun elde edilmesi için kullanılıyordu. Bu katmanlar sırasıyla; veriyi ayırmak (split) için tüm web içeriğini tarama, map katmanında alakalı verilerin bulma, sonrasında alakalı verileri gruplama ve sonuç olarak arama sonuçlarının gösterildiği bir süreçti. Caffein Algortiması öncesinde kullanılan MapReduce’un çalışmasında tüm web içeriğinin taranması ve yeni sayfaların indekslenmesini zorlaştıran sürecinden dolayı Google 2010 yılında Caffein Algoritması’nı hayata geçirdi.
Percolator:
Caffein Algoritması ile hayatımıza girmiş ve web’in hantallığından arınması için kullanılmaya başlayan bir motordur. Büyük bir veri kümesindeki güncellemeleri artımlı olarak işlemek için geliştirilmiştir. Percolator öncesinde MapReduce kullanılıyordu ve indekslemelerde gecikmeler yaşanıyordu. MapReduce’un sınırılı indeksleyebilme kabiliyetinin geliştirilme ihtiyacından dolayı Percolator kavramı hayatımıza girmiştir. Percolator’ın öncelikli amacı yeni içeriklerin Googlebot tarafından daha hızlı taranması ve dizine eklemesidir. Güncelleme sonrası arama sonuçlarında yeni dökümanlar %50’lik bir artış gösterdi. Bu tool MapReduce gibi toplu indeksleme yapmadan indeks almak isteyen sitelere anında yanıt çevirebilen bir güncellemedir. Bu sayede hiç gecikme yaşamadan web sitelerimizi indekse alabiliriz.
Eski Google sözcüsü Matt Cutts, percolator kavramını şöyle anlatıyor:
“Caffein ve percolator arasındaki anlam ilişkisini anlıyorsunuz. Percolator, toplu indekslemeyi beklemek yerine daha hızlı indeks almayı sağlar. Yani yeni bir URL geldiğinde binlerce URL’in treni doldurmasını beklemek yerine taksiyle doğrudan hedefe gidebilir. Toplu indekslemeden artan indekslemeye geçiş Google’ın percolatorü kullanması ile gerçekleşir. Caffeine Algortiması altında çalışan percolator bu sistemin iyi çalıştığına emin olmasına yardımcı olan bir parçadır.”
Percolator nasıl çalışır?
Percolator, Bigtable üzerinde çalışan bir araçtır. Türkçe anlamı gibi süzgeç görevi görür. Bigtable gibi çok büyük veritabanlarında bir süzgeç doğru bilgiye ulaşma süresini ciddi şekilde azaltabilir. Bigtable, her biri birkaç tablete hizmet vermekten sorumlu olan tablet sunucuları koleksiyonundan oluşur. Bir tablet, Google 2 SSTable biçiminde salt okunur dosyalardan oluşan bir koleksiyon olarak depolanır. SSTable’lar GFS‘de saklanır; Bigtable, disk kaybı durumunda verileri korumak için GFS’yi kullanır. GFS, veritabanının temel depolama motorudur. Bu da diğer sütunlardaki verilerin taranması gerekmediğinden taramayı daha maliyetsiz bir hale getirir.
Eski ve Yeni İndeks Yapısı Farkları Nelerdir?
Caffeine Güncellemesi öncesinde indeksleme için kullanılan MapReduce yapısındaki en büyük fark anlık olarak indeks isteği yapabilmektir. MapReduce’da bir çok farklı sitenin indeks isteğinde bulunması sonucu oluşan büyük veri kümesinin belirli aşamalardan geçerek işleme alınmasıydı. Bu yapıda SERP’de bulunan içerikler eski ve faydasız olabiliyordu. Caffeine Güncellemesi ile kullanılmaya başlayan indeks yapısında ise indeks için yapılan isteğin minimum sürede yanıt vermesi isteniyordu. Google, indeks isteğine verdiği yanıtı 2-3 saniyeye kadar düşürmeyi başardı.
Percolator VS Map Reduce
| Percolator | Map Reduce |
| Yinelemeli indeksleme | Toplu indeksleme |
| Java Kullanılarak Tasarlandı | C++ Kullanılarak Tasarlandı |
| Anında İşlem | Uzun İşlem Süresi |
| GFS (Google Dosya Sistemi) | HDFS (Hadoop Dağıtılmış Dosya Sistemi) |
| Google Tarafından Geliştirildi | Açık Kaynaklı |
| Artırımlı Güncelleme | Total Data İşlenme Süresince Güncelleme |
| Tarama Hızı (Saatte işleme alınan indeks isteği yüzdesi)
| |
Dremel:
Büyük veri kümelerinin etkileşimli analizi için dağıtılmış bir sistem olan Dremel, Google algoritmalarında verilerin işlenmesi için çalışmaktadır. Dremel, daha basit bileşenlerden oluşturulmuş özel, ölçeklenebilir bir veri yönetimi çözümüdür.
Google’ın Dremel’i Kullanıldığı Alanlar:
- Taranan web belgelerinin analizi.
- Google Play Store’da bulunan uygulamalar için yükleme verilerini izleme.
- Google ürünleri için kilitlenme raporlaması.
- Spam olan maillerin tespit edilmesi.
- Google Haritalar’da harita işaretlemelerindeki hataları ayıklama.
- Bigtable’da tablet server taşıma işlemleri.
- Google’ın dağıtılmış yapı sisteminde çalıştırılan testlerin sonuçları.
- Yüz binlerce disk için I/O istatistikleri.
- Google’ın veri merkezlerinde yürütülen işler için kaynak izleme.
- Google’ın kod tabanındaki semboller ve yanlış kullanımları tespit etme.
Pregel:
Pregel, Bulk Synchronous Parallel modelinden esinlenmiştir. Konsept olarak MapReduce’a benzer tarafları olsa da doğal bir grafikle API ve grafik üzerinde yinelemeli hesaplamalar yaparak çok daha verimli çalışır. Pregel’in bir diğer farkı ise durum bilgisi olan bir model uygulamasıdır. Büyük veri kümelerinin uzun ömürlü işlem süresi herhangi bir sürecin veri akışı modeli yerine yerel durumu hesaplar, iletir ve değiştirir. Yalnızca gelen verileri hesaplar ve çıktı verilerini üretir. Google PageRank Algortiması’nda da etkin bir rolü olan pregel, verileri bulunup bulunmadığı durumunu tespit etmede kullanılır. Google her ay bir çok güncelleme yayınlıyor ve kusursuza en yakın versiyon için çalışıyor. Caffeine Güncellemesi en büyük algortimik ve sistematik güncellemelerden biridir. Yukarıda bahsi geçen Percolator, Dremel ve Pregel toolları ile entegre bir şekilde çalışarak indeks sistemini çok daha hızlı ve verimli bir yapıya kavuşturmuştur.
Ayrıca Kapsamlı Pagination SEO (Sayfalandırma) Rehberi adlı yazımıza da göz atabilirsiniz.
