# cikmaparcacin.com — robots.txt v3 (2026-05-07)
#
# Strateji: Disallow KULLANMA filtreli URL'lerde — inc/270-canonical-cleanup.php
# zaten noindex,follow + canonical (hub URL'e) basıyor. Robots.txt block ederse
# Google sayfayı tarayamaz, noindex'i göremez → URL "blocked by robots" olarak
# SCM'de takılı kalır. noindex stratejisi ile uyumsuz.

User-agent: *
Allow: /

# --- Admin & güvenlik ---
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-login.php
Disallow: /xmlrpc.php
Disallow: /wp-json/

# --- Native arama sayfaları (?s= ve /arama/) ---
# Bu sayfalar WP core search → noindex zaten yok, robots.txt'den block güvenli
Disallow: /*?s=
Disallow: /arama/

# --- Ilan arsiv sayfalama (2026-08-20) ---
# /ilan/page/2..N crawl butcesinin ~%16 sini yiyor. Sitemap indekslenebilir
# ilanlari zaten veriyor. /ilan/ (sayfa 1) ve /ilan/{slug}/ ACIK.
# Hub sayfalama (/marka/*/page/ vs.) DOKUNULMADI.
Disallow: /ilan/page/


# --- Form sayfaları (kullanıcı eylemi için, indeks gereksiz) ---
Disallow: /bulamadigin-parcayi-sor
Disallow: /bulamadigin-parcayi-sor/

# --- Kullanıcı sayfaları (private) ---
# Bu sayfalar kullanıcı oturumu gerektirir, kişisel veri içerir, indekslenmemeli.
# Tüm sayfalarda x-robots-tag + meta robots noindex zaten var (cache-immune defense).
Disallow: /giris/
Disallow: /kayit/
Disallow: /cikis/
Disallow: /cikis-yap/
Disallow: /sifremi-unuttum/
Disallow: /sifre-sifirla/
Disallow: /hesabim/
Disallow: /panel/
Disallow: /mesajlarim/
Disallow: /mesaj/
Disallow: /favorilerim/
Disallow: /taleplerim/
Disallow: /talep-paneli/
Disallow: /talep-ac/
Disallow: /ilan-duzenle/
Disallow: /magaza-ac/
Disallow: /magaza-ac-firsatlari/
Disallow: /forum/yeni/

# --- Tag / Author / Yıl arşivleri (low-value) ---
Disallow: /tag/
Disallow: /author/
Disallow: /yazar/
Disallow: /etiket/
Disallow: /20*/   # tarih arşivleri (yyyy/mm)
Disallow: /feed/
Disallow: /comments/feed/
Disallow: /*/feed/
Disallow: /*/feed/$
Disallow: /trackback/
Disallow: /*/trackback/

# --- Filter & sort query parametreleri (canonical zaten doğru hedefi gösteriyor) ---
Disallow: /*?replytocom=
Disallow: /*?orderby=
Disallow: /*?filter=
Disallow: /*?fbclid=
Disallow: /*?gclid=
Disallow: /*?utm_*

# ⛔ KALDIRILDI (2026-05-07): /*?marka=, /*?model=, /*?parca=
# Bu satırlar noindex stratejisi ile çelişiyordu. Filtreli URL'ler artık
# inc/270-canonical-cleanup.php tarafından noindex,follow + canonical ile
# yönetiliyor. robots.txt block ederse Google tarayamaz, noindex'i göremez.

# --- /wp-content/themes/ ve /wp-includes/ AÇIK olmalı ---
# Google sayfayı render etmek için CSS/JS'i indirmek zorunda. Engellenirse
# Mobile-friendly testi başarısız, CWV yanlış ölçülür, ranking düşer.
# Reference: https://developers.google.com/search/docs/crawling-indexing/robots/intro

# --- AI/LLM bot'ları (kullanıcı tercihi: izin ver) ---
# GPTBot, ClaudeBot, CCBot, anthropic-ai, Bytespider, Google-Extended:
# AI Overviews / ChatGPT / Perplexity'de alıntılanmak için izinli.
# Sadece kötü scraper'lar block edilir (.htaccess seviyesinde).

# === COP SCRAPER ENGELLERI (2026-06-08) — arama motoru/AI DEGIL, kaynak israfi ===
# Bunlar SEO-istihbarat/scraper botlari. Google/Bing/AI botlari ETKILENMEZ.
# NOT: Ahrefs/Semrush BILEREK engellenmedi (kullanici kendi SEO analizinde kullanabilir).
User-agent: MJ12bot
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: Barkrowler
Disallow: /

User-agent: DataForSeoBot
Disallow: /

User-agent: BLEXBot
Disallow: /

User-agent: MegaIndex
Disallow: /

# === AI/LLM bot izinleri — ACIK + private-sayfa hijyeni (2026-06-18) ===
# AI/LLM botlar ICERIGI (ilan/sehir/oem/magaza) tam tarar; ama private/login/arama
# sayfalarini ATLAR (sunucu yuku + crawl-budget israfini onler). Stacked User-agent
# = tek kural grubu listedeki TUM botlara uygulanir. Disallow'lar Allow:/ ustunde
# (en-spesifik-yol + first-match guvenli). Icerik etkilenmez, sadece private atlanir.
User-agent: GPTBot
User-agent: ChatGPT-User
User-agent: OAI-SearchBot
User-agent: ClaudeBot
User-agent: Claude-Web
User-agent: anthropic-ai
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Amazonbot
User-agent: Applebot
User-agent: Applebot-Extended
User-agent: Google-Extended
User-agent: GoogleOther
User-agent: CCBot
User-agent: cohere-ai
User-agent: Bytespider
User-agent: DuckAssistBot
User-agent: Meta-ExternalAgent
User-agent: MistralAI-User
# 2026-08-17: tarama-butcesi optimizasyonu (GEO raporu) — 401 donen REST uclari ve
# noindex facet kombinasyonlari AI botlara kapatildi (haftada ~103K bosa istek).
# "/ilan/?*" SADECE sorgulu facet URL'lerini kapatir; /ilan/{slug}/ detaylari ACIKTIR.
# (?* formu bilincli: basit robots-parserlarda zararsiz no-op, Google-spec parserlarda facet-kapali)
Disallow: /wp-json/
Disallow: /ilan/?*
Disallow: /giris/
Disallow: /kayit/
Disallow: /cikis/
Disallow: /cikis-yap/
Disallow: /sifremi-unuttum/
Disallow: /sifre-sifirla/
Disallow: /hesabim/
Disallow: /panel/
Disallow: /mesajlarim/
Disallow: /mesaj/
Disallow: /favorilerim/
Disallow: /taleplerim/
Disallow: /talep-paneli/
Disallow: /talep-ac/
Disallow: /ilan-duzenle/
Disallow: /magaza-ac/
Disallow: /magaza-ac-firsatlari/
Disallow: /forum/yeni/
Disallow: /arama/
Disallow: /*?s=
Allow: /


# --- AI / LLM kaynak dosyalari (llms.txt standardi) ---
# llms.txt: https://cikmaparcacin.com/llms.txt

# --- Sitemaplar ---
Sitemap: https://cikmaparcacin.com/sitemap.xml
Sitemap: https://cikmaparcacin.com/sitemap-sehir-marka.xml
Sitemap: https://cikmaparcacin.com/sitemap-sehir-marka-model.xml
Sitemap: https://cikmaparcacin.com/sitemap-magazalar.xml
Sitemap: https://cikmaparcacin.com/sitemap-seo.xml
Sitemap: https://cikmaparcacin.com/sitemap-sehir-sayfalar.xml
Sitemap: https://cikmaparcacin.com/sitemap-images-index.xml
Sitemap: https://cikmaparcacin.com/sitemap-il-ilce.xml
Sitemap: https://cikmaparcacin.com/sitemap-sehir-marka-model-yil.xml
Sitemap: https://cikmaparcacin.com/sitemap-jenerasyon.xml

# OEM landing pages Faz 1+2 = 8262 URL
Sitemap: https://cikmaparcacin.com/sitemap-oem.xml
Sitemap: https://cikmaparcacin.com/sitemap-motor-index.xml
Sitemap: https://cikmaparcacin.com/sitemap-taze.xml