Blog details
Tek bir satır, sitenin taranmasını gereksiz yere kilitleyebilir. Üstelik sorun çoğu zaman hemen fark edilmez; trafik düşer, yeni sayfalar geç keşfedilir, Search Console uyarıları artar.
Robots.txt hataları bu yüzden küçük bir teknik ayrıntı değil. Dosya doğru kurulduğunda botlara yol gösterir, yanlış yazıldığında önemli URL’leri kapatır. Sorunu çözmenin ilk adımı, robots.txt’nin ne yaptığını ve ne yapmadığını net bilmektir.
Robots.txt dosyası ne işe yarar, neyi yapmaz?
Arama motoru botları bir siteye geldiğinde ilk baktıkları yerlerden biri kök dizindeki /robots.txt dosyasıdır. Buradaki kurallar, hangi yolların taranabileceğini ve hangilerinin taranmayacağını söyler. Yani robots.txt, bir tarama yönetimi aracıdır.
Ancak burada kritik bir ayrım var. Robots.txt, tek başına bir indeksleme engeli değildir. Bir URL’yi robots.txt ile engellerseniz, bot o sayfayı tarayamaz. Buna rağmen URL başka yerlerden keşfedilmişse, arama sonuçlarında yine de URL düzeyinde görünebilir.
| Hedef | Doğru araç | Neden |
|---|---|---|
| Belirli alanları taramayı kısıtlamak | robots.txt | Bot hangi yolları istemesin, bunu söyler |
| Sayfanın dizine girmesini engellemek | meta robots noindex veya X-Robots-Tag | Bot sayfayı görür ve noindex sinyalini okur |
| Site haritasını bildirmek | Sitemap satırı | Botun URL keşfini kolaylaştırır |
Robots.txt, taramayı yönetir. İndekslemeyi garanti biçimde kapatmaz.
Bu ayrım, hata tespitinde çok işinize yarar. Çünkü bazen “sayfa neden hâlâ Google’da görünüyor?” sorusunun cevabı, robots.txt’nin yanlış amaçla kullanılmasıdır. Eğer amaç dizinden çıkarmaksa, sayfanın taranabilir olması ve noindex komutunun okunması gerekir.
Robots.txt’nin doğru kullanımına dair pratik notlar için Camdalio’nun doğru kullanım notları faydalı bir referans sunuyor. Temel mantık basit, düşük değerli veya sonsuz filtre üreten alanları kısıtla; önemli içerik yollarını açık bırak.
Sık yapılan robots.txt hataları
En yaygın hata, dosyanın hiç olmaması ya da yanlış yerde bulunmasıdır. Robots.txt yalnızca alan adının kökünde çalışır. Yani /blog/robots.txt gibi bir dosya, site geneli için geçerli değildir. Ayrıca dosya erişilemiyorsa, kurallarınız pratikte yok sayılabilir.
İkinci büyük hata, tüm siteyi yanlışlıkla kapatmaktır. Canlıya alınan test ortamlarında sık görülür. Disallow: / satırı, botlara her şeyi kapatır. Geliştirme ortamında normal olan bu kural, canlı sitede ciddi kayıp yaratır.
Bir diğer sorun, gereğinden geniş kurallardır. Örneğin parametreli URL’leri azaltmak isterken tüm sorgu dizelerini kapatmak, ürün filtreleriyle birlikte önemli sayfaları da perdeleyebilir. Benzer şekilde CSS, JS veya görsel dosyalarını düşünmeden bloklamak, sayfanın doğru işlenmesini bozabilir.
Zeo’nun paylaştığı sık hata örnekleri, özellikle yanlış slash kullanımı ve erişim sorunları konusunda iyi bir kontrol listesi sunuyor. 4xx dönen bir robots.txt dosyası da ayrı bir problemdir; botlar bu durumda dosya yokmuş gibi davranabilir.
Yanlış ve doğru örnekler
Aşağıdaki örnekler, sahada en çok görülen hataları gösterir.
Canlı sitede tüm alanı kapatan yanlış örnek:
User-agent: *Disallow: /
Aynı mantığın daha güvenli hâli:
User-agent: *Disallow: /admin/Disallow: /sepet/Disallow: /arama/
Aşırı geniş parametre engeli de sorun çıkarır:
User-agent: *Disallow: /*?
Daha dar hedefli bir yaklaşım daha güvenlidir:
User-agent: *Disallow: /*?sort=Disallow: /*?filter=
Kural sayısı arttıkça hata ihtimali de artar. Bu yüzden kısa, açık ve hedefi net kurallar yazmak çoğu zaman daha iyi sonuç verir.
Robots.txt hataları nasıl tespit edilir?
Teşhis süreci, dosyaya bakıp “hata var mı” demekten ibaret değil. Hem dosyanın sözdizimini, hem bot davranışını, hem de etkilenen URL’leri birlikte incelemek gerekir. Çünkü dosya doğru görünebilir ama yanlış klasörü kapatıyor olabilir.
İlk kontrol, tarayıcıda doğrudan /robots.txt adresini açmaktır. Dosya yükleniyor mu, HTTP durum kodu 200 mü, içerik beklediğiniz dosya mı? CDN, yönlendirme veya güvenlik katmanı bazen eski sürümü gösterebilir. Bu yüzden canlı dosyanın gerçekten servis edildiğini doğrulayın.
Sonra Google Search Console’a geçin. “Sayfa dizine ekleme” ve “URL Denetimi” raporları burada en işlevli alanlardır. “robots.txt tarafından engellendi” uyarısı alan URL’leri tek tek kontrol edin. Engellenen sayfalar gerçekten engellenmesi gereken yerler mi, bunu netleştirin.
Bundan sonra site tarayıcıları devreye girer. Screaming Frog benzeri bir tarama aracıyla siteyi gezdiğinizde, hangi URL’lerin robots kuralları yüzünden atlandığını daha net görürsünüz. Geniş sitelerde bu analiz, basit bir göz kontrolünden çok daha hızlıdır. İsterseniz bir ön tarama için teknik site denetimi araçlarından da yararlanabilirsiniz.
Bir adım daha ileri gitmek istiyorsanız log kayıtlarına bakın. Çünkü gerçek bot davranışı orada görünür. Googlebot hangi URL’leri istiyor, hangi dizinlerde gereksiz tarama harcıyor, nerede engelle karşılaşıyor? Bu noktada SEO log analizi rehberi tarama bütçesi ve kullanıcı aracısı bazlı inceleme için iyi bir destek sağlar.
Labrika’nın hata tespiti kılavuzu da boş yönergeler, hatalı kural yapıları ve kök dizin sorunları gibi teknik ayrıntıları kontrol ederken yararlı olur. En iyi sonuç için üç veriyi birlikte okuyun: Search Console, site taraması, sunucu logları.
Robots.txt hataları nasıl düzeltilir?
Düzeltmeye geçmeden önce mevcut dosyanın yedeğini alın. Sonra tek bir soruya cevap verin: Botların nereye girmesini istemiyorsunuz? Cevap net değilse, dosya zamanla büyür ve karmaşıklaşır. Karmaşa da yeni hata üretir.
Düzenleme yaparken amaç, mümkün olan en az sayıda kuralla en doğru kontrolü sağlamaktır. Çoğu site için kullanıcı hesabı, sepet, iç arama, oturum sayfaları ve bazı filtre kombinasyonları kapatılır. İçerik, kategori, ürün ve temel medya yolları ise açık bırakılır.
Eğer dosyada birden fazla User-agent bloğu varsa, çelişen kuralları sadeleştirin. Gerekmediği sürece ayrı bot kümeleri tanımlamayın. Ayrıca noindex komutunu robots.txt içine yazmayın. Google bunu güvenilir bir yöntem olarak kabul etmez. Sayfanın dizine girmemesi gerekiyorsa, sayfaya meta robots noindex ekleyin ve sayfanın taranmasına izin verin.
Uygulanabilir düzeltme örnekleri
Test ortamından canlıya taşınmış hatalı kurgu:
User-agent: *Disallow: /
Canlı site için daha mantıklı kurgu:
User-agent: *Disallow: /giris/Disallow: /hesabim/Disallow: /arama/
İşleme dosyalarını yanlışlıkla kapatan kurgu:
User-agent: *Disallow: /css/Disallow: /js/
Daha sağlıklı yaklaşım:
User-agent: *Disallow: /tmp/Disallow: /filtre/
Düzeltme sonrası dosyayı mutlaka kök dizine koyun. Ardından tarayıcıdan yeniden açın, Search Console’da örnek URL’leri test edin ve gerekirse CDN önbelleğini temizleyin. Optimia’nın robots.txt test rehberi, özellikle test ve tekrar kontrol aşamasında işinizi hızlandırabilir.
Düzeltme sonrası doğrulama ve izleme
Dosyayı kaydedip yayınlamak işin sonu değil. Önce canlı sürümün gerçekten yeni dosya olduğundan emin olun. Önbellek, güvenlik eklentisi veya reverse proxy eski içeriği göstermesin. Tarayıcıdan ve farklı cihazlardan kontrol etmek bu yüzden faydalıdır.
Ardından Search Console’da önemli birkaç URL’yi inceleyin. Kategori, ürün, blog ve sistem sayfalarından örnekler seçin. Engellenmesi gerekenler gerçekten bloklanıyor mu, açık kalması gerekenler taranabiliyor mu, bunu görün. Aynı anda yeni bir site taraması başlatın ve önceki raporla farkları kıyaslayın.
Log verisi burada yine önem kazanır. Düzeltmeden sonraki birkaç gün içinde Googlebot’un istekleri değişmeye başlar. Gereksiz alanlarda azalma, önemli içeriklerde artış görmeniz iyi işarettir. Bu aşamada düzenli kontrol için profesyonel SEO danışmanlığı veya iç ekip süreçleriyle bir yayın sonrası kontrol listesi oluşturmak mantıklıdır.
Kural basit: Search Console tek başına yetmez. Site taraması, canlı dosya kontrolü ve log kayıtları aynı tabloyu göstermelidir.
Sonuç
Robots.txt dosyası küçük görünür, etkisi ise doğrudan tarama davranışına yansır. Bu yüzden en önemli nokta, onun bir indeksleme engeli değil, tarama kontrol aracı olduğunu unutmamaktır.
Bir slash hatası, yanlış bir Disallow satırı veya unutulmuş test kuralı ciddi kayıp yaratabilir. Dosyayı sade tutar, canlı sürümü doğrular ve düzeltme sonrası veriyi izlerseniz robots.txt hatalarını kalıcı biçimde kontrol altına alırsınız.