Tarama, İndeks, Sıralama… Google Nasıl Çalışır?

Google her gün milyarlarca sorguya kusursuz ve hızlı yanıt vermek için birçok sistem kullanır. Bu sistemler kullanıcıların arama sorguları ve arama niyetine göre sonuçlar sunar. Bu yazıda bu sistemlerin bir sayfayı tespit edip dizine ekleme sürecinin nasıl olduğundan ve kullanıcılara sunulan sonuçların süreçlerinden bahsececeğim.

Google Tarama Yapısı (Crawling)

Google, web sitelerinde bulunan sayfaları linklemeler üzerinden keşfeder ve tarar. Taranan sayfalar alaka düzeyine göre depolanır ve indekse alınır. Googlebot’un web sitesini minimum efor harcayarak taraması istenen durumdur. Bu yüzden gereksiz sayfaların dizinden kaldırılması ve başka sayfalardan linklenmemesi önemlidir. Bir sayfanın URL’si Google tarafınca tespit edildiğinde içeriğini öğrenmek amacıyla botlar sayfayı ziyaret eder. Linklenen sayfalar Googlebot tarafından keşfedilirse “noindex” etiketi kullanılsa da arama sonuçlarına eklenebilir. Hangi sayfaları ne sıklıkla tarayacağını belirlemek için kendi algortimasından yararlanır. Ayrıca web sunucusuna fazla yük olmamak için yavaş tarayacak şekilde programlanmıştır.

Google, siteleri ve sayfaları taramak için sıraya alır ve sonrasında taradığı sayfaları oluşturmak için tekrar sıraya alır. Taranan sayfalar Google tarafından oluşturulur. İlk olarak bir HTTP isteğinde bulunur. İstek attığı sayfada HTTP durum kodunu ve taramaya izin verilip verilmediğini kontrol eder. İzin veriliyorsa sonrasında HTML kodu içerisindeki tüm “href” etiketlerindeki bağlantıları kontrol eder. Kontrol edilmesi istenmeyen bağlantılar için “nofollow” etiketi kullanabilirsiniz.

Googlebot Hangi Web Sayfalarını Taramaz?

• Robots.txt dosyasından engellenmiş dizin veya URL’ler,
• Üye girişi ile açılan sayfalar,
• Sayfa daha önceden taranmış olan sayfanın kopyasıysa bu sayfalar taranmayabilir.

Google İndeks Yapısı (Indexing)

Google, taramış veya ziyaret etmiş olduğu sayfaları başlıklar, paragraflar, görseller, videolar gibi temel içerik etiketlerini web sayfasının HTML kodlarını okuyarak analiz eder. Sayfayı taramasının ardından dizine ekleme sırasında öncelikli olarak içeriğin kopya olup olmadığını kontrol eder. Sonrasında <canonical> etiketine bakar ve dizine eklenmesi gereken sayfayı tespit eder. Googlebot tarafından taranmış olan sayfanın varsa dil seçenekleri gibi farklı varyasyonlarının sinyallerini de bu aşamada toplar. Sayfa taramasının ardından binlerce bilgisayar kullanarak Google veritabanında bu bilgileri depolar. Ayrıca depolanan sayfaların arama sonuçlarında görüntülenme garantisi yoktur.

Google bu alanda en köklü değişimi 2010 yılında Caffeine Güncellemesi içerisinde Percolator aracını kullanmaya başlayarak gerçekleştirmiştir. Önceden kullanılan Map Reduce sistemine göre daha efektif ve hızlı çalışan Percolator, çalışma prensibi gereği sayfaları minimum sürede indeksleyebiliyor.

Google Arama Sonuçlarını Nasıl Sunar? (Serving)

Bir kullanıcı yapmış olduğu sorguda Google veritabanında bulunan en alakalı sonuçları Arama Sonuçları Sayfası’nda (SERP) görüntüler. Burada görüntülenen sayfalar milyonlarca sayfa arasından içeriğin alakalı olması, içerik dili, sorgu yapılan konum, arama yapılan cihaz (telefon veya bilgisayar) gibi birçok faktör göz önünde bulundurularak çıkarılır. Örneğin “telefon tamiri” sorgusunu İstanbul’da yapan bir kullanıcıyla Barselona’da aynı aramayı yapan kişi farklı arama sonuçları görecektir. Ayrıca sunulan zengin arama sonuçları ve arama sonuçlarını geliştirmek ve en doğru bilgiyi kullanıcılarla buluşturmak için Google arama sonuçlarını kalite testlerinden geçiriyor. Bu sayede sunulan arama sonuçları her geçen gün gelişmeye devam ediyor.

Google Aramanın Temel Özellikleri

Google Arama Sonuçlarında (SERP), internet siteleri ve Google’da bulunan her bileşenin Google Arama’da görünmesini ve iyi performans göstermesini sağlayan bazı temel unsurlar vardır:

• Teknik Koşullar

  Google, sayfaları arama sonuçlarında göstermek için bazı teknik koşulların sağlanmasını bekler. Pek tabii bu koşullar sayfanın erişilebilir, içerik olarak dolu ve çalışır durumda olmasıdır:

  • HTTP durum kodu 200 dönmelidir,
    • Sayfa içeriği istemciye sunucu tarafından sorunsuz iletilmelidir.
  • Googlebot taraması engellenmemiştir,
    • Robots.txt veya HTTP header kullanılarak sayfa taranması engellenmemiş olmalıdır.
  • Sayfa içeriği dizine eklenebilir içeriğe sahiptir.
    • İçerik kopya değildir,
    • Metin içeriği desteklenen dosya formatındadır,
    • Spam politikalarını ihlal etmiyordur.

• Spam Politikaları

Spam politikalarından etkilenen web sayfasının sıralamalarının düşmesine veya Google Arama’dan tamamen kaldırılmasına sebep olabilir. O nedenle spam niteliği taşıyacak uygulamalardan uzak durmak en sağlıklısı olacaktır. Spam oluşturacak uygulamaları incelemek gerekirse:

• Sayfa içeriğinde vadedilen içerik haricinde sunumlar yapmak spam politikasına takılacak bir uygulamadır. Sayfa başlıkları veya görseller kullanarak kullanıcının arama sonucunu bulduğunu düşündürerek farklı içerik sunmak, yani kullanıcıyı kandırmak spam niteliği taşımaktadır.
• Köprü sayfalar veya bağlantılar kullanmak bir diğer spam oluşturma sebebidir. İçeriğe erişmenin yollarının uzatıldığı ya da engellendiği bu durumda kullanıcılara aranan içerik haricinde bilgiler veya reklamlar sunulmasıdır. Kullanıcıların arama yaptığı konu ve niyetinin haricinde içerikler görüntülendiğinden bu da spam niteliği taşımaktadır.
• Gizli metin ve bağlantı kullanımı da spam oluşturan unsurlardan biridir. Metnin görünmeyecek şekilde sitede kullanımı (beyaz arka plana beyaz yazılar yerleştirmek, resimlerin arkasına metin eklemek, yazı tipi boyutunu 0px olarak kurgulamak) spam politikalarını ihlal eden bazı gizli içeriklerdir.
• Sitede bulunan bağlantıların uygunsuz kullanımları da spam niteliği taşıyabilir. Satın alınan backlinkler, karşılıklı bağlantı takası yapmak, kötü içerik bulunan sayfalardan backlink almak gibi uygulamalar bu politikaları ihlal eden bazı durumlardır.
• Otomatik trafik uygulatmak, yani botların sürekli kullanıcı gibi sayfayı ziyaret etmesi durumu; boş kaynak tüketimi yaptığı ve gerçek kullanıcılara verilen hizmet kalitesini düşürdüğü gerekçesiyle uygunsuz bir uygulamadır. Site ve sayfa etkileşiminin bir sıralama faktörü olduğu göz önünde bulundurulursa doğrudan hile olarak kabul edebiliriz.
• Anahtar kelimeleri metne serpiştirmek yerine spam olacak kadar çok kullanma durumu Google Arama’da politika ihlali olarak kabul edilir. Çünkü metin anlamsal bütünlükten çok anahtar kelimeleri doldurarak oluşturulduğunda Google tarafından faydasız içerik olarak nitelendirilir.

Enter’a Basınca Google Tarafında Neler Yaşanır?

En uygun ve güvenilir bilgiyi sunmak için yapılan sorgulara karşılık gelen arama sonuçları birden çok algoritma ve sıralama kriterinin birlikte çalışması ile Google tarafından kullanıcılarla buluşturulur. Sorgusu yapılan kelime veya kelime gruplarının sorgu yapılan yer, sayfa içeriği, sorgu yapılan dil gibi faktörleri de göz önünde bulundurularak alakalı ve güvenilir içerikleri sunmak için çalışır.

Kullanıcı Google Aramada Sorgu Yapılınca:

Google, arama sorgularına göre tüm web dizinindeki bilgileri değerlendirip en faydalı içerikleri listeler. Google Arama Dizini’nde depolanan ve sorguya en doğru cevabı verecek olan sayfaları sıralar ve en kısa sürede kullanıcıyı doğru bilgiyle buluşturmayı amaçlar. Bu sıralama aşağıdaki aşamalardan geçerek otomatik olarak oluşturulur:

1. Öncelikle yapılan aramanın niyetini belirleyerek en uygun sonuçları sıralamaya çalışır. Bu aşamada eş anlamlı kelimeler ile yapılan aramalar (bilgisayar parlaklığını değiştirme & bilgisayar parlaklığını ayarlama) da birbiriyle eşleştirilir.
2. Web sayfalarının dizine eklenmesi sırasında içeriği analiz edilip oluşturulduğu için arama sorgusu ile alakalı sonuçların birbiriyle eşleşmesini kolaylaştırır. Yapılan sorguda yalnızca aratılan kelimenin bir görseli ya da sadece o kelimeden oluşmuş bir sayfa muhtemelen kullanıcıya fayda sağlamayacaktır. Bundan dolayı arama sorgusundaki kelime hakkında daha fazla bilgiyi bir arada toplamış sayfaların sıralanması daha olasıdır.
3. Sayfaların içerik kaliteleri sıralama için sıradaki aşamadır. Arama sorgusundaki kelimeyi anahtar kelime olarak tanımlayıp başlıklarda yer vermek bu konuda yeterli olmayacaktır. Semantik bütünlüğü sağlamış ve kullanıcı odaklı içerik hazırlamış olan web sayfalar bu adımda öne çıkmak için bir adım öndedir.
4. Yukarıdaki aşamaları geçtikten sonra yakın olan sonuçlar arasında en iyi performansı gösteren sayfayı tespit etmek için web sayfalarının kullanılabilirliği açısından kıyaslaması yapılır. Bu aşamada web sitesi hızı (pagespeed), erişilebilirliği, sayfanın mobil uyumlu olması, SSL sertifikası kullanımı ve içeriğin görünür olmasıdır. Sayfanın açılma ve yüklenme hızı özellikle mobil cihazlardan gelen kullanıcı deneyimi için önemli faktörlerden biridir.
5. Son sıralama aşaması olan konum bilgisi, coğrafi olarak daha doğru sonuçları sıralamak için kullanılır. Örneğin Amerika’da yapılacak “futbol” sorgusunda Amerikan Futbolu hakkında içerikler sunulurken, Türkiye’de yapılacak “futbol” sorgusunda Türkiye Futbol Ligi ile ilgili sonuçlar sıralanacaktır.

Google Sıralama Faktörleri Nelerdir?

Google Arama Motoru, kullanıcılar için minimum sürede maksimum bilgiyi vermek üzerine gelişmeye devam etmektedir. Google bunun için zengin sonuçlar (rich snippets), bilgi kartları, Google çeviri, hava durumu gösterme aracı ve döviz çeviri aracı gibi bir web sayfasına tıklamadan doğru bilgiyi kullanıcılarla buluşturmak gibi geliştirmeler yapar. Bu çalışmalar ve yıllardır Google tarafından yapılan güncellemeler göz önünde bulundurularak hem kullanıcı odaklı içerik ve işaretlemeler hem de robotların kolay ve hızlı şekilde tarayabileceği web siteler inşa etmek gerekmektedir. Şimdi öne çıkan sıralama faktörleri hakkında biraz daha derinlere inelim:

• Kullanıcı Odaklı içerik

Google içeriklerin robotlara göre değil kullanıcılara göre oluşturulmasını istiyor. Sık kullanılan anahtar kelimelerin spam niteliğinde olduğu ve kullanıcının aradığı bilgiye ulaşmasını zorlaştırdığı için Google bu konuda 2022 yılında bir güncelleme yayınladı. Oluşturulan içeriklerin amacını anlamlandırmak üzerine geliştirilmiş olan Faydalı İçerik Güncellemesi yazımızı okuyabilirsiniz.

• Mobil Uyumlu Siteler

İnternet sitesi ziyaretlerinin ortalama olarak %80’i mobil cihazlar aracılığıyla gerçekleşir. Mobil cihazlara uyumlu ve ekran çözünürlüklerine uygun (responsive) tasarımlar kullanılmalıdır. Ayrıca Google, mobil öncelikli web sitesi kavramını da kullanıyor. Sitede gezinme, mobil tasarım ve sayfa düzeni gibi kozmetik yapı mobil deneyim kaygılarıyla tasarlanmalıdır.

• Sayfa Hızı (Pagespeed Insights)

Kullanıcıları mutlu etmek ve sıralamalarda üst sıralara tırmanmak için önemli bir kriter olan sayfa yüklenme hızı, istekte bulunan kullanıcılara hızlı yanıt vermek için önemli bir sıralama faktörüdür. Kullanıcı deneyimini doğrudan etkileyen sayfa açılış hızı, görsel yüklenme hızı ve içeriklerin yüklenme hızı gibi durumları kapsar. Sunucular ve dosya transfer protokolleri bu noktada önemlidir.

• URL Yapısı

Site genelinde kullanılan URL yapısı hem kullanıcılar hem de tarama botları için anlamlı ve düzenli yapılar oluşturulmalıdır. Bu konudaki en iyi uygulamalar arama sorgularıyla tam eşleme sağlamak ve uzun olmayan URL’ler kullanmaktır.

• Yapılandırılmış Veri Kullanımı

Arama sonuçlarında daha zengin bir görünüm yakalamanın yanı sıra web sitesinin semantik olarak bütünlüğünü sağlamak için Yapılandırılmış Veriler kullanılır. Meta etiketlerin modern ve gelişmiş sürümü olan yapılandırılmış veriler sayfa içeriğini arama sonuçlarında daha kapsamlı göstermek için kullanılır. Örneğin ürün detay sayfalarında fiyat, marka, stok durumu gibi gerekli bilgileri sunmak için kullanılır. Bu kullanım haricinde; sıkça sorulan sorular ve nasıl yapılır işaretlemeleri en sık görülen kullanılmalıdır.

• Site İçi Linklemeler

Site içerisinde bahsedilen konunun detayına inmek için kullanılan site içi linkler sitede dolaşmak ve kullanıcıların sitede geçirdiği toplam süreyi arttırmak için kullanılır. Ayrıca link verilen sayfayı güçlendirmek için kullanılır. Bu alanda en iyi uygulama doğru kelimeden verilecek olan linklerdir. 

• Hiyerarşik Başlık Yapısı

Hiyerarşik başlık kullanımı hem bilgi hiyerarşisini düzenlemek hem de botlar tarafından anlamlı bir yapı oluşturmak için kullanılır. Başlıklarda kullanılacak anahtar kelimeler bu alanda en iyi uygulamadır.

• Meta Title & Description Etiketleri

Meta Title etiketi, web sayfasının ana konu başlığı niteliğindedir. Tarayıcı araç çubuğu üzerinde görüntülenir. Sayfa sık kullanılanlara eklendiğinde başlık olarak görüntülenir. Arama motoru sonuçlarında başlık olarak görüntülenir. HTML belgesinde sadece bir <title> etiketi bulunabilir. Maksimum boyutu 580px’dir (55-60 karakter).

Meta Description etiketi, arama sonuçları sayfasında (SERP) başlığın altında görüntülenen metin alanıdır. Bu etiket, sayfanın kısa bir açıklamasını sağlamak için kullanılır. Görünür olması için maksimum 990px büyüklüğünde olmalıdır. Aksi takdirde SERP’de description tam olarak görüntülenmez. Bu etiket içeriğinde anahtar kelimeler spam olmayacak şekilde ve anlamsal bütünlüğü koruyacak şekilde kullanılmalıdır.Google tespit ettiği sayfaları bir çok faktörü gözeterek arama sonuçlarında sunuyor. Kullanıcının konumundan ve arama niyetinden dolayı kişiden kişiye değişen bir sistem kullanılıyor. Bir çok doğruyu bir arada yapan ve teknik gereksinimleri tamamlanmış sayfalar Google tarafından ödüllendiriliyor.

Google’da Üst Sıralara Çıkmak İçin Neler Yapabilirsiniz? içeriğimizi de okuyabilirsiniz.