Robots.txt Nedir? SEO’da Nasıl Kullanılır?

Robots.txt, arama motoru botlarına bir web sitesinde hangi alanların taranıp taranamayacağı konusunda yönergeler veren metin dosyasıdır. Bu dosya genellikle sitenin ana dizininde yer alır ve arama motoru botları siteyi taramadan önce robots.txt dosyasını kontrol edebilir.

SEO açısından robots.txt dosyası, tarama yönetimi için önemli bir araçtır. Ancak robots.txt doğru kullanılmadığında önemli sayfaların taranmasını engelleyebilir, Google’ın siteyi anlamasını zorlaştırabilir veya teknik SEO sorunlarına yol açabilir. Bu nedenle robots.txt dosyası yalnızca “birkaç satırlık teknik dosya” olarak değil, site tarama stratejisinin önemli bir parçası olarak değerlendirilmelidir.

Robots.txt Ne İşe Yarar?

Robots.txt dosyası, arama motoru botlarına site üzerinde hangi yolları tarayıp tarayamayacaklarını söylemek için kullanılır. Özellikle gereksiz, hassas veya SEO açısından değer taşımayan alanların taranmasını sınırlandırmak için tercih edilir.

Robots.txt dosyası şu amaçlarla kullanılabilir:

• Arama motoru botlarının belirli dizinleri taramasını engellemek
• Yönetim paneli gibi gereksiz alanları tarama dışında bırakmak
• Site içi arama sonuçları veya parametreli URL’leri kontrol etmek
• Tarama bütçesinin daha verimli kullanılmasını desteklemek
• Sitemap dosyasının konumunu arama motorlarına bildirmek
• Belirli botlara özel tarama kuralları tanımlamak

Ancak robots.txt, bir sayfayı kesin olarak Google indeksinden kaldırmak için kullanılmaz. Bu konu çok sık karıştırılır. Robots.txt taramayı engeller; indeks yönetimi için her zaman doğru araç olmayabilir.

Robots.txt Dosyası Nerede Bulunur?

Robots.txt dosyası sitenin ana dizininde bulunur. Bir web sitesinin robots.txt dosyasına genellikle şu şekilde ulaşılır:

https://www.orneksite.com/robots.txt

Örneğin bir sitenin robots.txt dosyasını kontrol etmek için tarayıcıya alan adının sonuna /robots.txt eklenebilir.

Dosyanın doğru yerde olması önemlidir. Eğer robots.txt farklı bir dizinde bulunuyorsa arama motoru botları bu dosyayı dikkate almayabilir. Doğru konum her zaman alan adının kök dizinidir.

Robots.txt Nasıl Görünür?

Basit bir robots.txt dosyası şu şekilde görünebilir:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://www.orneksite.com/sitemap_index.xml

Bu örnekte:

• User-agent: * tüm botları ifade eder.
• Disallow: /wp-admin/ wp-admin dizininin taranmasını engeller.
• Allow: /wp-admin/admin-ajax.php bu özel dosyaya izin verir.
• Sitemap satırı site haritasının konumunu belirtir.

WordPress sitelerde buna benzer bir yapı sık görülür. Ancak her sitenin robots.txt ihtiyacı farklıdır. Bu nedenle dosya kopyala-yapıştır mantığıyla değil, sitenin teknik yapısına göre düzenlenmelidir.

User-agent Nedir?

User-agent, robots.txt içinde hangi bot için kural yazıldığını belirtir. Arama motoru botlarının her birinin farklı user-agent adı olabilir.

Örneğin:

User-agent: Googlebot
Disallow: /test/

Bu kural yalnızca Googlebot için geçerlidir.

Tüm botlara kural vermek için şu yapı kullanılır:

User-agent: *
Disallow: /test/

Buradaki yıldız işareti, tüm botları kapsar. Ancak her bot robots.txt kurallarına aynı hassasiyetle uymayabilir. Güvenilir arama motoru botları genellikle robots.txt yönergelerini dikkate alır.

Disallow Nedir?

Disallow, belirli bir URL yolunun taranmasını engellemek için kullanılır.

Örnek:

User-agent: *
Disallow: /sepet/

Bu kural, tüm botlara /sepet/ dizinini taramamalarını söyler.

Disallow özellikle şu alanlarda kullanılabilir:

• Sepet sayfaları
• Hesap sayfaları
• Yönetim panelleri
• İç arama sonuçları
• Gereksiz parametreli alanlar
• Test veya geçici dizinler

Ancak önemli hizmet, kategori, ürün veya blog sayfalarında yanlışlıkla Disallow kullanılması ciddi SEO sorunlarına neden olabilir.

Allow Nedir?

Allow, Disallow ile engellenen bir dizin içinde belirli bir dosya veya yolun taranmasına izin vermek için kullanılır.

Örnek:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Bu yapı WordPress sitelerde sık görülür. Genel olarak /wp-admin/ dizini taramaya kapatılır; ancak admin-ajax.php dosyasına izin verilir. Çünkü bazı tema veya eklenti işlevleri bu dosyayı kullanabilir.

Allow kuralı özellikle daha detaylı tarama kontrolü gereken durumlarda kullanılır.

Robots.txt ile Noindex Arasındaki Fark Nedir?

Robots.txt ve noindex çok sık karıştırılır. Ancak bu iki yapı farklı amaçlara hizmet eder.

Robots.txt, arama motoru botlarına bir sayfanın veya dizinin taranmaması gerektiğini söyler. Noindex ise arama motorlarına bir sayfanın indekslenmemesi gerektiğini belirtir.

Temel fark şu şekilde özetlenebilir:

• Robots.txt: “Bu alanı tarama.”
• Noindex: “Bu sayfayı indeksleme.”

Eğer bir sayfa robots.txt ile engellenirse Google o sayfanın içindeki noindex etiketini göremeyebilir. Çünkü sayfayı tarayamaz. Bu nedenle indeks dışı bırakılmak istenen sayfalarda robots.txt yerine noindex kullanımı daha doğru olabilir.

Örneğin bir sayfa Google’da görünmesin isteniyorsa ve Google’ın bu sayfayı tarayıp noindex etiketini görmesi gerekiyorsa robots.txt ile engellemek doğru değildir.

Robots.txt İndekslemeyi Engeller mi?

Robots.txt doğrudan indekslemeyi garanti şekilde engellemez. Bu, SEO’da en sık yapılan yanlış yorumlardan biridir.

Bir URL robots.txt ile engellense bile, başka sitelerden veya site içinden o URL’ye bağlantı varsa Google bu URL’yi sınırlı bilgiyle indeksleyebilir. İçeriği göremese bile URL’yi arama sonuçlarında gösterebilir.

Bu nedenle robots.txt, “indekslenmesini istemediğim sayfaları kapatayım” aracı olarak düşünülmemelidir. İndeks yönetimi için noindex, canonical, 301 yönlendirme veya sayfa kaldırma araçları daha doğru olabilir.

Robots.txt daha çok tarama yönetimi için kullanılır.

Robots.txt SEO İçin Neden Önemlidir?

Robots.txt, SEO açısından önemlidir çünkü arama motoru botlarının siteyi nasıl tarayacağını etkileyebilir. Özellikle büyük sitelerde tarama verimliliği önemli hale gelir.

Robots.txt doğru kullanıldığında:

• Gereksiz alanların taranması azaltılabilir.
• Önemli sayfalara daha fazla tarama ilgisi yönlendirilebilir.
• Parametreli ve düşük değerli URL’lerin tarama yükü azaltılabilir.
• Site haritası konumu arama motorlarına bildirilebilir.
• Teknik SEO stratejisi daha kontrollü hale getirilebilir.

Yanlış kullanıldığında ise:

• Önemli sayfalar taramaya kapanabilir.
• CSS ve JS dosyaları engellenebilir.
• Google sayfayı doğru render edemeyebilir.
• Sitemap tarama stratejisiyle uyumsuz kalabilir.
• İndeksleme sorunları ortaya çıkabilir.

Bu nedenle robots.txt dosyası küçük değişikliklerden sonra bile mutlaka kontrol edilmelidir.

Tarama Bütçesi ve Robots.txt İlişkisi

Tarama bütçesi (crawl budget), arama motoru botlarının bir siteyi belirli zaman içinde ne kadar tarayacağıyla ilgilidir. Çok büyük sitelerde, özellikle e-ticaret ve haber sitelerinde tarama bütçesi daha kritik hale gelebilir.

Robots.txt, gereksiz URL alanlarının taranmasını azaltarak tarama bütçesinin daha verimli kullanılmasına yardımcı olabilir.

Örneğin şu alanlar gereksiz tarama yükü oluşturabilir:

• Site içi arama sonuçları
• Sonsuz filtre kombinasyonları
• Sıralama parametreleri
• Sepet ve ödeme sayfaları
• Kullanıcı hesabı sayfaları
• Oturum parametreli URL’ler

Ancak küçük ve orta ölçekli sitelerde tarama bütçesi genellikle en büyük SEO problemi değildir. Bu yüzden robots.txt optimizasyonu yaparken gereksiz agresif engellemelere gidilmemelidir.

E-Ticaret Sitelerinde Robots.txt Kullanımı

E-ticaret sitelerinde robots.txt daha dikkatli kullanılmalıdır. Çünkü ürün, kategori, filtre, arama, sepet ve kullanıcı hesabı gibi birçok farklı URL tipi bulunur.

E-ticaret sitelerinde robots.txt ile kontrol edilebilecek alanlar:

• Sepet sayfaları
• Ödeme sayfaları
• Kullanıcı hesabı sayfaları
• Site içi arama sonuçları
• Bazı parametreli URL’ler
• Gereksiz filtre kombinasyonları
• Test veya kampanya geçici dizinleri

Ancak kategori, ürün veya SEO değeri taşıyan filtre sayfaları yanlışlıkla engellenmemelidir.

Örneğin “siyah kadın spor ayakkabı” gibi arama talebi taşıyan bir filtre sayfası özel landing page olarak kurgulanacaksa robots.txt ile kapatılması doğru olmayabilir. Bu yüzden e-ticaret sitelerinde robots.txt kararları anahtar kelime araştırması, kategori mimarisi ve canonical stratejisiyle birlikte değerlendirilmelidir.

Shopify’da Robots.txt Yapısı

Shopify sitelerde robots.txt dosyası platform tarafından otomatik oluşturulur. Shopify belirli sistem sayfalarını ve gereksiz alanları varsayılan olarak kontrol eder. Bazı durumlarda robots.txt.liquid dosyası üzerinden özelleştirme yapılabilir.

Shopify’da dikkat edilmesi gereken alanlar şunlardır:

• Koleksiyon filtreleri
• Ürün etiket sayfaları
• Arama sonuçları
• Sepet ve checkout alanları
• Parametreli URL’ler
• Uygulamaların oluşturduğu URL yapıları

Shopify’da robots.txt düzenlemesi yapılırken çok dikkatli olunmalıdır. Yanlış bir kural koleksiyon veya ürün sayfalarının taranmasını etkileyebilir. Bu nedenle değişiklik yapmadan önce mevcut yapı, canonical çıktısı ve Search Console verileri birlikte değerlendirilmelidir.

WordPress’te Robots.txt Nasıl Yönetilir?

WordPress sitelerde robots.txt dosyası fiziksel olarak oluşturulabilir veya sanal olarak WordPress tarafından üretilebilir. SEO eklentileri de robots.txt düzenleme imkânı sunabilir.

Standart bir WordPress robots.txt yapısı genellikle şu mantığa yakındır:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://www.orneksite.com/sitemap_index.xml

WordPress’te robots.txt kontrolü yapılırken şu alanlara dikkat edilmelidir:

• /wp-admin/ engeli doğru mu?
• admin-ajax.php dosyasına izin var mı?
• Sitemap satırı doğru mu?
• Tema veya eklenti dosyaları gereksiz yere engellenmiş mi?
• Önemli sayfalar yanlışlıkla Disallow edilmiş mi?
• Arama veya etiket sayfaları stratejiye uygun mu?

WordPress sitelerde robots.txt düzenlemesi yaparken Rank Math, Yoast SEO veya özel tema fonksiyonlarıyla çakışma olup olmadığı da kontrol edilmelidir.

Robots.txt İçinde Sitemap Kullanımı

Robots.txt dosyasına sitemap satırı eklemek yaygın ve faydalı bir uygulamadır. Bu satır, arama motorlarına site haritasının nerede olduğunu bildirir.

Örnek:

Sitemap: https://www.orneksite.com/sitemap_index.xml

Birden fazla sitemap varsa birden fazla sitemap satırı da eklenebilir:

Sitemap: https://www.orneksite.com/post-sitemap.xml
Sitemap: https://www.orneksite.com/page-sitemap.xml
Sitemap: https://www.orneksite.com/product-sitemap.xml

Sitemap satırı eklemek tek başına indeksleme garantisi vermez. Ancak arama motorlarının önemli URL’leri keşfetmesini destekleyen sağlıklı bir sinyaldir.

Robots.txt Dosyasında Sık Yapılan Hatalar

Robots.txt dosyasında yapılan küçük bir hata büyük SEO sorunlarına yol açabilir. Bu nedenle düzenlemeler dikkatli yapılmalıdır.

Sık yapılan hatalar şunlardır:

• Tüm siteyi yanlışlıkla taramaya kapatmak
• Önemli kategori veya hizmet sayfalarını engellemek
• CSS ve JS dosyalarını kapatmak
• Sitemap satırını yanlış yazmak
• Noindex yerine robots.txt kullanmak
• Parametreli URL’leri plansız şekilde engellemek
• Test ortamı kurallarını canlı siteye taşımak
• Büyük küçük harf farkını gözden kaçırmak
• Yanlış user-agent altında kural yazmak
• Gereksiz agresif Disallow kuralları oluşturmak

En tehlikeli örneklerden biri şudur:

User-agent: *
Disallow: /

Bu kural tüm sitenin taranmasını engeller. Test ortamlarında kullanılabilir; ancak canlı sitede kalırsa ciddi görünürlük kaybına neden olabilir.

Robots.txt Dosyası Nasıl Test Edilir?

Robots.txt dosyası düzenlendikten sonra mutlaka test edilmelidir. Test için birkaç yöntem kullanılabilir.

Kontrol edilebilecek alanlar:

• Tarayıcıdan /robots.txt dosyası açılır.
• Google Search Console üzerinden URL denetimi yapılır.
• Screaming Frog ile tarama gerçekleştirilir.
• Önemli URL’lerin robots.txt tarafından engellenip engellenmediği kontrol edilir.
• Sitemap satırının doğru çalışıp çalışmadığı incelenir.
• Googlebot’un CSS ve JS dosyalarına erişip erişemediği kontrol edilir.

Sadece dosyanın var olması yeterli değildir. Yazılan kuralların beklenen şekilde çalıştığı doğrulanmalıdır.

Screaming Frog ile Robots.txt Kontrolü

Screaming Frog, robots.txt kurallarının site taramasını nasıl etkilediğini görmeye yardımcı olur. Site taraması sırasında engellenen URL’ler, tarama davranışı ve URL durumları analiz edilebilir.

Screaming Frog ile şu kontroller yapılabilir:

• Robots.txt ile engellenen URL’ler
• Tarama sırasında erişilemeyen alanlar
• Sitemap ve tarama uyumu
• Önemli sayfaların engellenip engellenmediği
• Parametreli URL’lerin tarama davranışı
• İç linklerde robots ile engellenen URL kullanımı

Bu analiz özellikle site taşıma, e-ticaret filtreleme veya teknik SEO audit süreçlerinde oldukça faydalıdır.

Robots.txt ve Canonical İlişkisi

Robots.txt ve canonical birlikte yanlış kullanıldığında SEO sinyal karışıklığı oluşabilir.

Örneğin bir sayfa robots.txt ile taramaya kapalıysa Google o sayfanın canonical etiketini göremeyebilir. Çünkü canonical etiketi sayfanın HTML kodu içinde yer alır ve Google sayfayı tarayamazsa bu etikete ulaşamayabilir.

Bu nedenle şu yaklaşım daha sağlıklıdır:

• Yinelenen içerik yönetimi için canonical kullanılabilir.
• İndeks dışı bırakılacak sayfalar için noindex değerlendirilebilir.
• Gereksiz tarama alanları için robots.txt kullanılabilir.
• Eski veya taşınan URL’ler için 301 yönlendirme kullanılabilir.

Her teknik SEO aracının amacı farklıdır. Robots.txt her sorunu çözmek için kullanılmamalıdır.

Robots.txt ve GEO İlişkisi

GEO, yapay zekâ destekli arama sistemlerinde görünürlük kazanmayı hedefleyen optimizasyon yaklaşımıdır. GEO açısından içeriklerin erişilebilir, taranabilir ve doğru URL yapısıyla sunulması önemlidir.

Eğer önemli bilgi sayfaları veya uzmanlık içerikleri robots.txt ile engellenirse, arama motorları ve bazı AI sistemleri bu içeriklere erişmekte zorlanabilir. Bu da kişinin, markanın veya içeriğin dijital görünürlüğünü zayıflatabilir.

Özellikle şu sayfalar gereksiz yere robots.txt ile kapatılmamalıdır:

• Hakkımda sayfası
• Hizmet sayfaları
• Eğitim sayfaları
• Blog içerikleri
• Kategori sayfaları
• İletişim sayfası
• Referans veya çalışma sayfaları

AI görünürlüğü için önemli olan içeriklerin açık, taranabilir ve doğru şekilde yapılandırılmış olması gerekir.

Robots.txt Kontrol Listesi

Bir robots.txt dosyasını kontrol ederken şu liste kullanılabilir:

• Robots.txt dosyası ana dizinde mi?
• Dosya tarayıcıdan açılıyor mu?
• Tüm site yanlışlıkla engellenmiş mi?
• Önemli sayfalar Disallow altında mı?
• Sitemap satırı doğru mu?
• CSS ve JS dosyaları engellenmiş mi?
• Parametreli URL kuralları bilinçli mi?
• E-ticaret filtreleri doğru yönetiliyor mu?
• WordPress veya Shopify varsayılan yapısı bozulmuş mu?
• Noindex gerektiren sayfalar robots.txt ile mi kapatılmış?
• Search Console’da tarama engeli uyarıları var mı?
• Screaming Frog ile kurallar test edilmiş mi?

Bu kontrol listesi, robots.txt kaynaklı teknik SEO hatalarını önlemeye yardımcı olur.

Robots.txt Nasıl Ele Alınmalı?

Robots.txt, arama motoru botlarının siteyi nasıl tarayacağını yönlendiren önemli bir teknik SEO dosyasıdır. Doğru kullanıldığında gereksiz alanların taranmasını azaltabilir, sitemap konumunu bildirebilir ve tarama verimliliğini destekleyebilir.

Ancak robots.txt yanlış kullanıldığında önemli sayfaların taranmasını engelleyebilir ve organik görünürlüğü olumsuz etkileyebilir. Bu nedenle robots.txt dosyası düzenlenirken sayfanın indeksleme hedefi, canonical yapısı, sitemap durumu ve site mimarisi birlikte değerlendirilmelidir.

Kısacası robots.txt, indeksleme sorunlarını çözmek için değil, tarama yönetimini kontrol etmek için kullanılmalıdır. İndeks dışı bırakma, yönlendirme veya yinelenen içerik yönetimi gibi konularda noindex, 301 yönlendirme ve canonical gibi farklı teknik SEO araçları doğru senaryoda tercih edilmelidir.

Web sitenizde robots.txt, sitemap, canonical ve indeksleme kontrollerini profesyonel olarak değerlendirmek isterseniz SEO danışmanlığı hizmeti üzerinden teknik SEO analizi planlanabilir.

Sık Sorulan Sorular

Robots.txt nedir?

Robots.txt, arama motoru botlarına bir web sitesinde hangi alanların taranıp taranamayacağını bildiren metin dosyasıdır. Genellikle sitenin ana dizininde yer alır.

Robots.txt ne işe yarar?

Robots.txt, botların belirli dizinleri veya URL yollarını taramasını engellemek, sitemap konumunu bildirmek ve tarama yönetimini daha kontrollü hale getirmek için kullanılır.

Robots.txt indekslemeyi engeller mi?

Robots.txt doğrudan indekslemeyi garanti şekilde engellemez. Bir URL robots.txt ile kapatılsa bile başka bağlantılar üzerinden sınırlı bilgiyle indekslenebilir. İndeks dışı bırakma için noindex daha doğru bir yöntem olabilir.

Robots.txt ile noindex arasındaki fark nedir?

Robots.txt botlara “bu alanı tarama” der. Noindex ise “bu sayfayı indeksleme” mesajı verir. Eğer Google sayfayı tarayamazsa sayfadaki noindex etiketini de göremeyebilir.

Robots.txt dosyası nerede bulunur?

Robots.txt dosyası sitenin ana dizininde bulunur. Genellikle https://www.orneksite.com/robots.txt adresinden görüntülenebilir.

WordPress robots.txt nasıl olmalı?

Standart WordPress yapısında genellikle /wp-admin/ dizini engellenir, admin-ajax.php dosyasına izin verilir ve sitemap satırı eklenir. Ancak her site için robots.txt yapısı ihtiyaçlara göre değerlendirilmelidir.

Robots.txt dosyasında sitemap olmalı mı?

Evet, robots.txt dosyasına sitemap satırı eklemek faydalıdır. Bu satır arama motorlarına site haritasının konumunu bildirir.

Robots.txt yanlış kullanılırsa ne olur?

Yanlış robots.txt kuralları önemli sayfaların taranmasını engelleyebilir, Google’ın siteyi doğru anlamasını zorlaştırabilir ve organik görünürlüğü olumsuz etkileyebilir.