- Ana sayfa
- SEO ve Pazarlama
- Robots.txt Oluşturucu
Robots.txt Oluşturucu
Yol kuralları, sitemap satırları, yapay zekâ botu engelleri ve içerik sinyalleriyle robots.txt dosyası oluşturun.
Yapay zekâ botları ve içerik sinyalleri
Cloudflare ile aynı ayrım kullanılır: eğitim, yapay zekâ araması ve asistanlar. Googlebot, bingbot ve Applebot gibi arama motoru botları bu listelerde yer almaz.
Yollar ve diğer botlar
Kural grupları nasıl çalışır
Her grup bir botu user-agent değeriyle hedefler; * tüm botlar demektir. Varsayılan olarak neye izin verildiğini seçin, sonra istisna olan yolları listeleyin. Dosyayı sitenizin köküne koyun, örneğin https://example.com/robots.txt.
Yapay zekâ ayarları ne yapar
Yapay zekâ eğitimini engelle seçeneği, Cloudflare yönetimli robots.txt dosyasındaki botlar için Disallow kuralları yazar: GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot, Bytespider, Amazonbot ve meta-externalagent; ayrıca yapay zekâ botu listesinden Google-CloudVertexBot ve FacebookBot. Yapay zekâ araması ve asistanlar ayrı tutulur, bu yüzden sıradan arama botları izinli kalır.
İçerik sinyalleri, bir botun aldığı içeriği nasıl kullanabileceğini söyler: search arama dizini için, ai-input anlık cevaplar için, ai-train model eğitimi için, use ise saklayabileceği şeyler içindir. Dosya yalnızca bir tercih bildirir. Bot bunu yok sayabilir; isteği gerçekten engellemek sunucuda veya bir proxy üzerinde yapılmalıdır.