Yapay zekâ botlarına kapıyı açmak mı, kapatmak mı?

Yapay zekâ botları, yapay zekâ şirketlerinin web sayfalarını okumak için kullandığı otomatik tarayıcılardır. Bir kısmı modelleri eğitmek için içerik toplar, bir kısmı ise kullanıcı soru sorduğunda canlı arama yapıp cevaba kaynak bulur. Siteniz için robots.txt kararını verirken en önemli ayrım budur: Eğitim botunu kapatmak ile arama botunu kapatmak çok farklı sonuçlar doğurur.

Bu yazıda başlıca botları, robots.txt dosyasıyla nasıl yönetildiklerini ve farklı firma türleri için makul kararları anlatıyoruz.

Eğitim botu, arama botu, kullanıcı botu

Büyük sağlayıcıların çoğu artık botlarını görevlerine göre ayırıyor. Aşağıdaki adlar sağlayıcıların kendi belgelerinde yayınladığı adlardır; zaman içinde yeni botlar eklenebildiği için kararınızı verirken güncel belgeleri kontrol etmenizi öneririz.

Google-Extended ayrı bir tarayıcı değil, bir izin anahtarıdır. Googlebot'un topladığı içeriğin Gemini modellerinin eğitiminde kullanılıp kullanılamayacağını belirler. Google'ın açıklamasına göre bu anahtarı kapatmak sitenizin Google aramasındaki yerini etkilemez; ancak Google aramasındaki yapay zekâ özetleri normal Googlebot taramasıyla beslendiği için Google-Extended ile bu özetlerden çıkamazsınız.

Kullanıcı isteğiyle çalışan botlar, bir kişi asistana "şu sayfayı oku" dediğinde gelir. Bazı sağlayıcılar bu tür ziyaretlerde robots.txt kurallarının farklı uygulanabileceğini belgelerinde belirtiyor.

robots.txt ile nasıl yönetilir?

robots.txt, sitenizin kökünde duran ve botlara hangi alanlara girebileceklerini söyleyen düz bir metin dosyasıdır. Her kural bir bot adı ve ardından gelen izin ya da yasak satırlarından oluşur. Örneğin yalnız OpenAI'ın eğitim botunu kapatıp arama botunu açık bırakmak için dosyaya şu dört satır eklenir:

• User-agent: GPTBot
• Disallow: /
• User-agent: OAI-SearchBot
• Allow: /

Aynı mantıkla ClaudeBot, CCBot ya da Google-Extended için de ayrı kurallar yazılır. Tüm siteyi değil yalnız belli bir klasörü kapatmak da mümkündür; örneğin teknik belgelerin bulunduğu bir klasör açık, müşteriye özel indirme alanı kapalı olabilir.

İki önemli uyarı: Birincisi, robots.txt bir güvenlik önlemi değil, bir ricadır. Büyük sağlayıcıların botları bu kurallara uyduklarını belirtiyor, ama kurallara uymayan tarayıcılar da var. Gerçekten gizli kalması gereken içerik şifreyle korunmalıdır. İkincisi, robots.txt geçmişi silmez; daha önce toplanmış içerik bu dosyayla geri alınmaz.

Engellemek neye mal olur?

Arama botlarını engellediğinizde, ilgili asistanlar canlı aramada sitenizi okuyamaz ve kaynak olarak gösteremez. Firmanız hakkında soru sorulduğunda cevap, sizin sitenizden değil başka sitelerdeki eksik ya da eski bilgilerden üretilebilir. Yapay zekâ cevaplarında görünürlüğün diğer koşullarını yapay zekâ cevaplarında görünmek yazımızda anlattık.

Eğitim botlarını engellemenin kısa vadede görünürlüğe etkisi daha belirsizdir. Karşılığında içeriğinizin model eğitiminde kullanılmasını sınırlamış olursunuz. Özgün içerik üretimi işinin merkezinde olan yayıncılar için bu anlamlı bir tercih olabilir.

Bir de gözden kaçan durum var: Bazı içerik dağıtım ve güvenlik hizmetleri, yapay zekâ botlarını varsayılan ayarla engelleyebiliyor. robots.txt dosyanız açık olsa bile botlar güvenlik duvarında durduruluyor olabilir. Sunucu kayıtlarını ve güvenlik ayarlarını birlikte kontrol etmek gerekir.

Firma türüne göre makul kararlar

Pratik kontrol listesi

• Sitenizin robots.txt dosyasını açın; yapay zekâ botları için bir kural var mı, bilinçli mi?
• Arama botları (OAI-SearchBot, Claude-SearchBot, PerplexityBot) istemeden engellenmiş mi?
• Güvenlik duvarı ya da içerik dağıtım hizmetinde bot engelleme ayarı açık mı?
• Sunucu kayıtlarında hangi botların geldiğine ve ne kadar yük oluşturduğuna bakın.
• Gizli kalması gereken içerik gerçekten şifreli alanda mı?
• Kararınızı ve tarihini bir yere not edin; sağlayıcılar bot listelerini değiştiriyor.

Globya'da nasıl yapıyoruz

Bu kararı firmanın iş modeline göre birlikte veriyoruz ve robots.txt, güvenlik duvarı ile sunucu ayarlarının aynı kararı yansıttığından emin oluyoruz. Barındırma ve bakım hizmetimizde botların sunucuya getirdiği yükü de izliyoruz; aşırı yük oluşturan tarayıcılar için hız sınırı gibi ara çözümler kurulabiliyor. Karar sürecinin görünürlük tarafını SEO ve GEO çalışmasıyla, veri gizliliği tarafını ise KVKK yaklaşımımızla birlikte ele alıyoruz.