# ============================================================ # robots.txt - فایل راهنمای ربات‌های موتورهای جستجو # کفسابی اهواز - Kafsabi Ahvaz # ============================================================ User-agent: * Allow: / # ============================================================ # مسیرهای ممنوع (دسترسی ربات‌ها ممنوع) # ============================================================ # پنل مدیریت (امنیت) Disallow: /admin/ Disallow: /admin/login.php Disallow: /admin/index.php # پوشه دیتابیس Disallow: /database/ # پوشه لاگ‌ها Disallow: /logs/ # پوشه آپلود (فایل‌های موقت) Disallow: /uploads/temp/ # فایل‌های پیکربندی و سیستمی Disallow: /config/ Disallow: /*.sqlite$ Disallow: /*.db$ Disallow: /*.log$ Disallow: /composer.json Disallow: /composer.lock Disallow: /.env # فایل‌های پشتیبان Disallow: /backups/ # مسیرهای پروژه (اما اجازه دهید صفحات اصلی ایندکس شوند) Disallow: /Project/*?step= Disallow: /Project/*?action= # صفحات خطا Disallow: /error/ # ============================================================ # زمان خزش و سرعت (برای گوگل و بینگ) # ============================================================ # گوگل User-agent: Googlebot Crawl-delay: 1 # بینگ User-agent: Bingbot Crawl-delay: 1 # یاهو User-agent: Slurp Crawl-delay: 1 # ============================================================ # نقشه سایت # ============================================================ Sitemap: https://kafsabi-ahvaz.ir/sitemap.xml Sitemap: https://kafsabi-ahvaz.ir/sitemap.html # ============================================================ # تگ‌های ویژه برای گوگل # ============================================================ # به گوگل بگویید کدام نسخه از سایت را ایندکس کند (بدون www) Host: kafsabi-ahvaz.ir # ============================================================ # پایان فایل robots.txt # ============================================================