Robots.txt AI Politikası
Bir sitenin hangi yapay zekâ botlarına izin verdiğini görün (robots.txt).
Çalıştırmak için yukarıya bir değer girin: Robots.txt AI Politikası
örn. example.com
Kısa cevap
Robots.txt AI Politikası, bir sitenin robots.txt dosyasını okuyup GPTBot, ClaudeBot ve Google-Extended gibi yapay zeka botlarının hangilerine izin verildiğini, hangilerinin engellendiğini listeler. "Allow" botun siteyi tarayabileceği, "Disallow" ise taramasının istenmediği anlamına gelir.
Bu araç bir sitenin /robots.txt dosyasını çeker ve hangi yapay zekâ botlarına izin verildiğini, hangilerinin engellendiğini gösterir. Yapay zekâ şirketlerinin eğitim ve yanıt motorları için yayımladığı user-agent adlarını, örneğin GPTBot, ClaudeBot, Google-Extended, PerplexityBot, CCBot ve Bytespider, dosyada arar ve her birine uygulanan Allow veya Disallow kurallarını listeler.
Site sahipleri bunu, uygulamak istedikleri engelin dosyada gerçekten yer aldığını doğrulamak ve birden çok alan adını tek tek robots.txt açmadan denetlemek için kullanır.
Nasıl çalışır
Araç https://alanadiniz/robots.txt adresini ister ve düz metin kuralları ayrıştırır. robots.txt gruplardan oluşur; her grup bir veya daha çok User-agent satırıyla başlar, ardından Allow ve Disallow yolları gelir. Bilinen her yapay zekâ botu için araç, en özel eşleşen grubu bulur ve site kökünün izinli olup olmadığını değerlendirir. Botu adıyla anan bir grup yoksa, gerçek bir tarayıcı gibi User-agent: * jokerli grubuna döner.
Sonuçları nasıl okursunuz
Her bot izinli ya da engelli olarak gösterilir. "Engelli", o bota ait grupta Disallow: / bulunması demektir, yani tarayıcıdan tüm siteyi atlaması istenir. "İzinli" ise böyle bir kuralın olmadığını gösterir. robots.txt gönüllüdür: niyet bildirir ama hiçbir şeyi zorlamaz. Google-Extended ve Applebot-Extended yalnızca yapay zekâ eğitimini kapsar, normal arama dizinini etkilemez; bunları engellemek sizi arama sonuçlarından çıkarmaz.
Sık karşılaşılan sorunlar ve çözümleri
Sık yapılan bir hata, botu kendi grubunda engellerken üstteki geniş User-agent: * grubunun daha katı görünmesidir; tarayıcılar iki grubu birleştirmez, yalnızca en iyi eşleşen tek grubu kullanır. Ayrıca adın yazımını tam kontrol edin; GPTBot ve ClaudeBot büyük-küçük harfe duyarsızdır ama doğru yazılmalıdır. robots.txt 404 ya da HTML hata sayfası döndürürse hiçbir kural yok sayılır ve her tarayıcı siteyi tümüyle izinli kabul eder.
Sıkça sorulan sorular
- AI botlarını robots.txt ile engellemek onları gerçekten durdurur mu?
- robots.txt okuyup ona uyan düzgün tarayıcıları durdurur; GPTBot, ClaudeBot ve Google-Extended bunlara dahildir. Bu bir istektir, güvenlik duvarı değildir. Standardı yok sayan botlar ya da üçüncü taraf veri kümeleriyle toplanan içerik durmaz. Kesin engelleme için sunucu tarafında user-agent veya IP bazlı bloklama gerekir.
- GPTBot ile Google-Extended arasındaki fark nedir?
- GPTBot, OpenAI için sayfa çeken ayrı bir tarayıcıdır. Google-Extended ise bir tarayıcı değildir; zaten dizine alınmış içeriğinizin Gemini ve yapay zekâ eğitimi için kullanılıp kullanılamayacağını Google'a bildiren bir denetim adıdır. Google-Extended'i engellemek Googlebot'u ya da normal arama sıralamanızı hiçbir şekilde etkilemez.
- Kontrol ettikten sonra belirli bir AI botunu nasıl engellerim?
- Site kökündeki robots.txt dosyasına bir grup ekleyin, örneğin: User-agent: GPTBot, ardından yeni satırda Disallow: / . ClaudeBot, CCBot ve PerplexityBot gibi her bot için ayrı gruplar oluşturarak tekrarlayın. Dosyayı yayına alın, sonra kuralların canlı ve doğru ayrıştırıldığını doğrulamak için bu aracı yeniden çalıştırın.