Googlebot sitenizi tarıyor olabilir, ama önemli URL’ler yine de geç keşfediliyor olabilir. SEO log analizi ile bu farkı en net gösteren veri kaynağı, web server loglarıdır.
Search Console size eğilimleri gösterir. O ise botun hangi URL’ye, ne zaman, hangi yanıtla gittiğini kanıtlar. Bu yüzden crawl budget sorunlarını teşhis etmek için, technical SEO açısından tahmine değil, log verisine bakmak gerekir.
Aşağıdaki çerçeve, özellikle büyük e-ticaret siteleri, filtreli kategori yapıları ve sık içerik güncelleyen projelerde işe yarar.
Anahtar Çıkarımlar
- SEO log analizi, web server logları sayesinde Googlebot’un hangi URL’leri taradığını, HTTP status kodlarını ve yanıt sürelerini net gösterir; Search Console’dan öte kanıt sağlar.
- Crawl budget sorunları loglarda parametreli URL şişmesi, yönlendirme zincirleri, 4xx/5xx hataları ve önemli sayfaların düşük crawl frequency’si olarak belirir.
- URL’leri segmentlere ayırın (ürün, kategori, filtre vb.), botları User-Agent bazında gruplayın ve metrikleri (hit payı, status kod dağılımı) izleyerek optimizasyon yapın.
- Düzenli log file analysis ile internal linking, sitemap güncellemeleri ve robots.txt ayarları sayesinde crawl budget’i değerli içeriklere yönlendirin.
Crawl budget neden en iyi loglarda görünür?
Tarama bütçesi, Google’ın sitenize ayırdığı server requests hacmi ile hangi sayfaları taramaya değer gördüğünün birleşimidir. Küçük ve temiz bir sitede bu konu sınırlı etki yaratır. Ancak binlerce URL üreten ecommerce SEO yapılarda, yanlış yere giden her bot isteği gerçek maliyet oluşturur.
Web server logs bu maliyeti çıplak haliyle gösterir. Bot hangi URL’yi istemiş, sunucu hangi HTTP status codes döndürmüş, yanıt süresi ne olmuş, hepsi satır satır görünür. Bu yüzden Search Engine Land’ın log file analysis rehberi, teknik teşhiste log verisini temel kaynak olarak ele alır.
GSC size özet verir, log dosyası ise kanıt verir.
Pratikte en sık gördüğünüz sorun, Googlebot’un değerli sayfalar yerine filtre URL’leri, eski yönlendirmeler veya hata üreten adresler üzerinde zaman harcamasıdır. Sonuçta ürün, kategori ve dönüşüm getiren içerikler daha seyrek taranır. İçerik güncellenir ama Google bunu geç görür.
Log file analysis sürecinde asıl odak Googlebot olmalı, bot behavior burada kritik rol oynar. Yine de diğer search engine bots’ları ayrı tutmak gerekir. Bingbot, YandexBot, DuckDuckBot ve ticari crawler’lar aynı log içinde yer alır. Eğer hepsini tek sepete koyarsanız teşhis bozulur. En azından User-Agent bazında ayrım yapın, önemli raporlarda da bot doğrulamasını kontrol edin.
Sağlıklı bir log analizi için veri setini nasıl kurmalısınız?
İlk ihtiyaç, web server logs’un temiz bir kopyasıdır. Apache, Nginx, CDN veya load balancer katmanından veri alabilirsiniz. İdeal log event’inde zaman damgası, istenen URL, HTTP status code’u, User-Agent, IP, yönlendiren kaynak ve yanıt süresi (response time) bulunur.
Log file analysis için küçük projelerde 7 ila 14 günlük veri, Excel veya Google Sheets için yeterli olabilir. Büyük sitelerde ise veri hacmi hızla büyür. Bu durumda BigQuery çok daha rahattır. Hazır arayüz isteyenler için Screaming Frog Log File Analyser hızlı başlangıç sağlar. Yöntem karşılaştırması görmek isterseniz, tarama bütçesi analizi örnekleri faydalı bir referans sunuyor.
Veriyi aldıktan sonra URL’leri site structure’a göre şablona göre etiketleyin. Ürün, kategori, blog, filtre, site içi arama, görsel, API, sitemap, robots.txt gibi segmentler olmadan yorum sağlıklı olmaz. Çünkü “çok taranıyor” tek başına anlam taşımaz. Asıl soru, “hangi URL grubu çok taranıyor?” olmalı.
Ardından botları ayırın. Googlebot, Googlebot-Image ve Googlebot Smartphone genelde ayrı davranır. Ayrıca Bingbot ve YandexBot’u ayrı raporlayın. Bazı sitelerde sorun Google değil, üçüncü taraf bot yüküdür. Bu yük, sunucu yanıt süresini artırır ve dolaylı olarak Google’ın tarama hızını sınırlar.
Crawl budget sorunları loglarda nasıl görünür?
İyi bir rapor, tek tek URL’lere değil örüntülere bakar. Aşağıdaki dört sorun, loglarda en sık karşılaşılan crawl budget tablosunu verir.
Parametreli ve filtreli URL şişmesi
Loglarda bu sorun, ?renk=, ?beden=, ?sirala= veya sonsuz sayfalama kombinasyonlarına yoğun bot isteği olarak görünür. Toplam crawled URLs hitlerinin büyük bölümü bu alanlara gidiyorsa, değerli şablonlar geri planda kalır.
Sorun yaratmasının nedeni basit. Bot, indexation gerekmeyen varyasyonlarda zaman harcar. Üstelik noindex tek başına taramayı durdurmaz. Google yine gelip sayfayı isteyebilir.
Çözüm, URL üretimini azaltmakla başlar. Gerekli olmayan filtre kombinasyonlarını front-end ve back-end tarafında sınırlayın. İç linkleri ve XML sitemap’i yalnızca kanonik URL’lere verin. Taratılmaması gereken sonsuz alanlar için robots.txt değerlendirmesi yapın, ama bunu kanonik stratejiyle çakıştırmayın.
Yönlendirme zincirleri ve hata sayfaları
Loglarda çok sayıda HTTP status codes (301, 302, 404 ve bazen 410) isteği görüyorsanız bütçe boşa akıyordur. Daha kötüsü, aynı URL önce redirects zinciri sonra başka bir 301 ile son hedefe gidiyorsa, bot her taramada fazladan iş yapar.
Bu yapı iki nedenle zararlıdır. Birincisi, tarama verimi düşer. İkincisi, önemli içeriklerin keşfi gecikir. Özellikle eski kampanya URL’leri, silinmiş ürün sayfaları ve broken links bu tabloyu büyütür.
Çözüm nettir. Dahili linkleri son hedef URL’ye güncelleyin. Sitemap içinde yönlendirme ve hata URL’si bırakmayın. Karşılığı olan eski sayfaları tek adımlı 301 ile taşıyın, karşılığı olmayanları 410 veya doğru 404 ile temizleyin.
Yavaş yanıt veren sayfalar ve 5xx sıçramaları
Log verisinde bot istekleri belli saatlerde yoğunlaşıyor, aynı zaman diliminde yanıt süresi yükseliyor ve 5xx hataları artıyorsa sunucu sınırına gelmişsinizdir. Sonra Googlebot hit sayısında düşüş görülür.
Bu durum tarama kapasitesini etkiler. Google, sorunlu veya yavaş yanıt alan host’larda daha temkinli davranır. Yani konu sadece performans değil, taranma sıklığıdır.
Çözüm için bot yanıt sürelerini ayrı izleyin. TTFB artışını, uygulama hatalarını, cache eksiklerini ve veritabanı darboğazlarını geliştirici ekiple birlikte inceleyin. Kampanya saatleriyle çakışan log pencereleri çoğu zaman sorunun yerini gösterir.
Önemli sayfaların az taranması
Bazen asıl sorun fazla tarama değil, yanlış dağılımdır. Örneğin gelir getiren kategori sayfaları düşük crawl frequency ile son 14 günde neredeyse hiç Googlebot almamış olabilir. Buna karşılık filtreler ve eski URL’ler sürekli istek alır.
Loglarda bu tabloyu görmek kolaydır. Sitemap’te yer alan ve 200 dönen önemli URL’leri ayrı çıkarın. Sonra bunların crawl frequency’sine bakın, kaçının son 7 veya 14 günde hiç bot hit’i almadığına bakın. Oran yükseliyorsa, crawl budget yanlış yere gidiyordur.
Çözüm tarafında internal linking yapısını güçlendirin, orphan pages’leri temizleyin, self-canonical kullandığınızdan emin olun ve güncel sitemap üretin. Aynı zamanda tarama bütçesi ve indeksleme hataları tarafını Search Console verisiyle birlikte kontrol edin. Bu yaklaşımlarla error detection yaparak crawl budget optimization elde edersiniz.
Hangi metrikler karar vermeyi kolaylaştırır?
Ham log satırları tek başına yorucudur. Log file analysis ile crawl frequency gibi temel metrikleri sürekli izlemek gerekir. Crawl frequency, site sağlığının önemli bir göstergesidir.
| Metrik | Ne anlatır | Sorun işareti |
|---|---|---|
| Googlebot hit payı, 200 dönen önemli crawled URLs’lerde | Değerli sayfalara ayrılan tarama oranı | Düşük pay, yanlış dağılım |
| Parametreli URL hit oranı | Filtre ve varyasyon yükü | Yüksek pay, bütçe israfı |
| 3xx redirects + 4xx HTTP status codes hit oranı | Boşa giden istek hacmi | Çift haneli oranlar |
| Bot yanıt süresi | Tarama kapasitesine etki | Artan trend ve eşlik eden 5xx |
| Son 14 günde hit almayan kritik URL sayısı | Indexation ve tazelik sorunu | Beklenenden yüksek sayı |
Örnek bir içgörü şöyle olabilir: Son 14 günde 120 bin Googlebot isteğinin yüzde 42’si parametreli URL’lere gitmiş, yüzde 16’sı redirects’lerde kaybolmuş, ürün sayfaları ise yalnızca yüzde 19 pay almıştır. Böyle bir tabloda sorun, “Google az tarıyor” değildir. Sorun, yanlış yerleri tarıyor olmasıdır.
Bu metrikleri GSC Crawl Stats, Screaming Frog Log File Analyser ve BigQuery sorgularıyla birleştirdiğinizde data visualization sayesinde resim netleşir. Düzenli izleme tarafında log içgörüleriyle crawl budget takibi yararlı bir çerçeve sunar.
Uygulanabilir aksiyon listesi
Aşağıdaki sıra, ekiple çalışırken işi hızlandırır:
- Son 14 ila 30 günün erişim loglarını log file analysis için alın ve bot trafiğini, özellikle fake bots ile AI bots’ları, insan trafiğinden ayırın.
- Googlebot, Bingbot, YandexBot ve diğer search engine bots’ları user agent bazında gruplayın.
- URL’leri ürün, kategori, filtre, arama, blog, sitemap ve hata segmentlerine etiketleyin.
- Her segment için hit sayısı, durum kodu dağılımı ve bot yanıt süresini çıkarın.
- Sitemap’te olup son 7 veya 14 günde hit almayan önemli URL’leri bulun.
- Redirects zincirlerini, 404 kümelerini ve parametre patlamasını temizleyin.
- Aynı raporu haftalık çalıştırın ve değişimden sonra Googlebot dağılımını yeniden ölçün.
En iyi sonuç, bu listeyi tek seferlik audit gibi değil, periyodik kontrol gibi yürütmekle gelir. Çünkü siteler değişir, bot davranışı da değişir.
Sıkça Sorulan Sorular
SEO log analizi nedir ve neden crawl budget için şarttır?
SEO log analizi, web server loglarından Googlebot trafiğini incelemektir. Crawl budget sorunlarını tespit etmek için idealdir çünkü GSC özet verirken loglar tam URL bazında istek, status kodu ve yanıt süresini satır satır gösterir. Özellikle büyük sitelerde filtre URL’leri veya hatalar bütçeyi boşa harcar, loglar bunu kanıtlar.
Loglarda crawl budget sorunları nasıl tespit edilir?
Parametreli URL’lere yüksek hit, 3xx/4xx status kodlarında yoğunluk, yavaş yanıt süreleri ve önemli sayfaların düşük frequency’si ana işaretlerdir. URL’leri ürün/kategori/filtre gibi segmentlere ayırarak örüntüleri bulun. Örnek: Filtreler %42 pay alıyorsa bütçe israfı vardır.
Hangi araçlarla log analizi yapılır?
Küçük siteler için Screaming Frog Log File Analyser veya Excel yeterlidir; büyüklerde BigQuery önerilir. Logları zaman, URL, User-Agent ve status ile filtreleyin. GSC Crawl Stats ile birleştirerek metrikleri görselleştirin.
Önemli sayfalar az taranıyorsa ne yapılmalı?
Son 14 günde hit almayan sitemap URL’lerini listeleyin, internal linking’i güçlendirin ve orphan pages’leri temizleyin. Filtre/redirect israfını azaltın, güncel sitemap üretin. Haftalık log raporuyla değişimi ölçün.
Log analizi ne sıklıkta yapılmalı?
Periyodik olarak, en az haftalık; büyük sitelerde aylık derin audit. Aksiyon listesinden başlayın: Botları gruplayın, segmentleyin ve metrikleri izleyin. Site değişimi veya kampanya sonrası hemen tekrarlayın.
Sonuç
Log dosyaları, Googlebot’un sitenizde gerçekten ne yaptığını gösterir. Bu yüzden crawl budget sorunlarını anlamanın en güvenilir yolu, SEO log analizi ile URL bazında bot davranışını ölçmektir.
Eğer önemli sayfalar az taranıyor, filtre URL’leri şişiyor ve 3xx ile 4xx oranı yükseliyorsa sorun görünenden büyüktür. Ama iyi haber şu, log dosyası analizi doğru okunduğunda crawlability’nizi iyileştirerek organik trafiği artırmak için hangi URL grubuna müdahale etmeniz gerektiği netleşir. Bu netlik, teknik SEO’da zaman kazandıran en değerli şeylerden biridir.