فاحص ومدقّق robots.txt

تجلب الأداة ملف /robots.txt الخاص بموقعكم من خادمنا الخاص (يعمل بـ PHP بلا واجهات خارجية) وتعرض الملف الخام إلى جانب ملخّص محلَّل لقواعده.

• يخبر محركات البحث بالصفحات التي يجوز أو لا يجوز الزحف إليها.
• يوجّه الزواحف إلى خريطة موقعكم لفهرسة أفضل.
• قد تؤدي الأخطاء إلى إخفاء صفحات مهمة أو كشف مسارات حساسة عن غير قصد.

• محتوى ملف robots.txt الخام كاملًا.
• أعداد قواعد User-agent وتوجيهات Disallow وAllow.
• أي روابط خرائط موقع مُعلنة.

• أدخلوا نطاقكم (مثل example.com) ثم اضغطوا افحص.
• راجعوا القواعد والملف الخام.
• Use نسخ النتائج or إعادة التشغيل. وإن لم يُعثر على الملف، ففكّروا في إضافته.