Crawl Stats Raporu Nasıl Yorumlanır, Neye Bakılır?

Tarama düşüyorsa sorun her zaman indeksleme değildir. Bazen sunucu yavaştır, bazen robots.txt yolu keser, bazen de Google vaktini gereksiz URL’lere harcar.

Google Search Console içindeki crawl stats raporu, bu ayrımı yapmanıza yardım eder. Ama tek tek sayılara bakmak yetmez; değişimin nerede başladığını ve hangi istek türüne yayıldığını görmek gerekir.

Doğru okunduğunda bu rapor, teknik SEO’da erken uyarı sistemi gibi çalışır. İlk adım, neyi gösterdiğini ve neyi göstermediğini bilmektir.

Crawl Stats raporu ne anlatır, neyi anlatmaz?

Crawl Stats, Googlebot’un sitenize yaptığı tarama isteklerini toplu düzeyde gösterir. Toplam istek sayısı, indirilen veri miktarı, ortalama yanıt süresi, yanıt kodları, dosya türleri ve ana makine durumu bu raporun omurgasını oluşturur.

Buradaki kritik nokta şudur: Bu rapor, site genelindeki davranışı anlatır. Tek bir URL’nin neden dizine girmediğini söylemez. Yani “Google bu sayfayı gördü mü?” sorusuyla, “Google bu alan adını son günlerde nasıl taradı?” sorusu aynı şey değildir.

Üç raporun görevini ayırmak işleri ciddi biçimde kolaylaştırır:

Rapor	Cevapladığı ana soru	En doğru kullanım
Crawl Stats	Google siteyi nasıl tarıyor?	Tarama hacmi, sunucu yanıtı, hata desenleri, dosya türü dağılımı
Page Indexing	Bir URL neden dizine alınmadı?	noindex, canonical, soft 404, kopya içerik, keşfedildi ama dizine eklenmedi gibi durumlar
URL Inspection	Bu URL şu an Google için ne durumda?	Tek sayfa bazında canlı kontrol, son tarama, canonical seçimi, erişim testi

Kısacası, Crawl Stats size “Google siteyi nasıl tarıyor?” sorusunun cevabını verir. “Bu sayfa neden dizinde değil?” sorusu için Page Indexing’e, tek URL teşhisi için de URL Inspection’a gitmeniz gerekir.

Crawl Stats raporu, URL bazlı karar vermez. O, desenleri gösterir.

Bu yüzden raporu yanlış araçla karıştırmamak gerekir. Örneğin ürün sayfası dizine girmediyse önce URL Inspection’a bakın. Aynı dönemde yüzlerce sayfa geç keşfediliyorsa, o zaman Crawl Stats tarafında tarama verimini sorgulayın.

Rapor ekranındaki alanları hızlıca gözden geçirmek isterseniz, SiteGuru’nun açıklamalı özeti pratik bir referans sunuyor. URL sayısı büyüdükçe bu ayrım daha da önemli olur. Bu yüzden büyük ölçekli web siteleri için SEO çalışmalarında bu üç rapor birlikte okunur.

Sayıya değil, değişimin yönüne bakın

Tarama sayısı yükseldi diye sevinmek, düştü diye paniklemek sık görülen bir hata. Çünkü artış bazen iyiye işaret eder, bazen de boşa harcanan crawl budget’ın göstergesidir. Aynı şekilde düşüş, kimi zaman geçici bir normalleşmedir.

Önce sitenizin kendi “normal” düzeyini bilin. Sonra kırılma anını bulun. Yeni yayınlanan bir tema, CDN değişikliği, güvenlik duvarı kuralı, robots.txt güncellemesi veya büyük içerik eklemesi, rapordaki eğriyi aniden değiştirebilir. Değişimle teknik olayın tarihi çakışıyorsa, ipucu güçlenir.

Raporu doğru okumak için tek metrik yerine dağılıma bakmak gerekir.

Asıl değer, kırılım ekranlarında ortaya çıkar. HTML istekleri sabitken görsel ve JavaScript istekleri yükseliyorsa, Google önemli sayfalardan çok ağır dosyalarla uğraşıyor olabilir. 200 yanıtlar azalırken 301 veya 5xx artıyorsa, yönlendirme zinciri ya da sunucu istikrarı tarafında sorun vardır.

Ortalama yanıt süresi de tek başına okunmamalı. Süre yükselip indirilen veri miktarı sabit kalıyorsa sorun büyük ihtimalle sunucu gecikmesidir. Hem süre hem indirilen bayt yükseliyorsa, ağır sayfa yapısı veya büyük statik dosyalar devreye girmiş olabilir. Özellikle sıkıştırılmamış görseller, büyük JS paketleri ve gereksiz üçüncü taraf script’ler bu tabloyu bozar.

Tarama amacını da gözden kaçırmayın. Yeniden tarama istekleri artıyorsa, Google zaten bildiği URL’lere dönüp duruyor olabilir. Bu bazen içerik sık güncellendiği için olur. Bazen de parametreli sayfalar, filtreler veya zayıf canonical yapısı aynı içeriğin farklı kopyalarını çoğaltır.

Sık görülen senaryolar ve doğru aksiyon

Ani tarama düşüşünde ilk iş, “indeks kaybı mı yaşadım?” diye düşünmek olmamalı. Önce ana makine durumuna bakın. DNS çözümü, sunucu bağlantısı veya robots.txt erişimi sorunluysa neden çoğu zaman buradadır. Bazı durumlarda WAF, CDN ya da rate limit ayarı Googlebot’u istemeden yavaşlatır.

5xx hataları yükseliyorsa konu ciddidir. Çünkü Google sürekli sunucu hatası görürse tarama hızını düşürebilir. Burada saat bazlı korelasyon çok işe yarar. Yedekleme işlemi, cron job, deploy anı veya veritabanı kilitlenmesi belli saatlerde 5xx üretiyorsa, rapor size semptomu gösterir; kök neden loglarda bulunur.

Yüksek yanıt süresi farklı bir tuzaktır. Bu metrik, tek başına “sıralama düşecek” demek değildir. Ama kalıcı şekilde yükselirse tarama verimi düşer. Büyük görseller, geç yüklenen API çağrıları, gereksiz JS paketleri ve ağır HTML şablonları bu sorunu büyütür. Özellikle e-ticaret sitelerinde varyasyonlu ürün sayfaları ve filtreli kategori yapıları, fark edilmeden tarama yükünü artırır.

robots.txt kaynaklı kısıtlar daha sinsi ilerler. robots.txt dosyasının kendisi erişilemiyorsa ya da 5xx dönüyorsa Google temkinli davranır. Yanlış bir disallow kuralı da kritik klasörleri devre dışı bırakabilir. Buna karşılık CSS veya JS engellemesi her zaman felaket değildir, fakat işlevi bozuyorsa Google sayfayı eksik değerlendirebilir.

Gereksiz crawl budget tüketimi ise genelde şu yapılarda çıkar: parametreli URL’ler, site içi arama sayfaları, sonsuz takvimler, filtre kombinasyonları, etiket kopyaları ve boş sayfalar. Örneğin kategori filtreleri her tıklamada yeni URL üretiyorsa, istek sayısı artar ama organik değer artmayabilir.

Böyle bir tabloda şunlara öncelik verin:

• Sunucu loglarında Googlebot isteklerini saat ve yanıt koduna göre ayırın.
• HTML, görsel, CSS ve JS istek oranlarını karşılaştırın.
• 5xx artışını deploy, cron ve CDN loglarıyla eşleştirin.
• robots.txt dosyasının erişilebilirliğini ve kural kapsamını test edin.
• Parametreli ve düşük değerli URL’leri iç link yapısında, canonical tarafında ve sitemap içinde yeniden düzenleyin.

Ekip içinde bu analiz düzenli yapılmıyorsa, profesyonel SEO danışmanlığı desteği teşhis süresini kısaltır. Çünkü sorun çoğu zaman raporda değil, raporun başka verilerle eşleştirilmemesinde çıkar.

En sık yanlış yorumlanan metrikler

“Düşük tarama sayısı kötü SEO demektir” yorumu doğru değildir. Olgun, stabil ve sınırlı URL setine sahip bir sitede Google daha az tarama yapabilir. Bu tek başına alarm vermez. Alarm, önemli sayfalar geç keşfediliyorsa veya yeni içerikler çok geç taranıyorsa başlar.

“404 artışı varsa kriz var” düşüncesi de eksik kalır. Silinmiş kampanya sayfaları veya eski ürün URL’leri bir süre 404 üretir. Sorun, bu URL’ler hâlâ iç linklerde yer alıyorsa veya sitemap içinde yaşıyorsa büyür. Yani 404’ün sayısı kadar kaynağı da önemlidir.

Bir başka yanlış yorum, indirilen veri miktarını olumlu işaret saymaktır. Yüksek veri indirimi, bazen sadece büyük görseller ve ağır JS dosyaları yüzünden oluşur. Bu durumda Google sitenize daha çok ilgi göstermiyor olabilir; yalnızca daha çok yük taşıyor olabilir.

Page Indexing ile Crawl Stats’i birbirinin yerine koymak da sık yaşanır. Page Indexing sonuç ekranıdır, Crawl Stats ise süreç ekranıdır. URL Inspection ise bu iki katmanın arasında, tek sayfayı doğrulayan büyüteç gibidir. Bu fark netleştiğinde, sorunun “erişim”, “tarama” ya da “indeksleme” katmanında olduğunu daha hızlı ayırırsınız.

Farklı hata desenlerinin raporda nasıl göründüğünü görmek için Huckabuy’ın teknik SEO örnekleri yararlı bir ek kaynak olabilir. Yine de en sağlam okuma, Search Console verisini log analizi ve site mimarisiyle birlikte düşünmektir.

Sonuç

Tarama düşüşü her zaman indeksleme sorunu değildir. Aynı şekilde tarama artışı da her zaman iyi haber vermez.

En doğru okuma, ana makine durumu, yanıt kodları, dosya türleri ve yanıt süresini birlikte değerlendirmektir. Crawl stats raporu size tek bir cevap vermez, ama sorunun hangi kapının arkasında olduğunu hızla gösterir.

Google önemli sayfalara rahat ulaşıyorsa, sunucu stabilse ve bütçe gereksiz URL’lerde yanmıyorsa rapor sağlıklı görünür. Sorun çıktığında da asıl farkı, rakama değil desene bakanlar yaratır.

This post may contain affiliate links. If you make a purchase through these links, I may earn a small commission at no extra cost to you.