هل تحظر بوتات الذكاء الاصطناعي التي تريدها؟ دليل robots.txt للمتاجر

أكثر مشكلة نصادفها في فحوصات الظهور في الذكاء الاصطناعي ليست صفحة منتج سيئة، بل متجر يحظر البوتات نفسها التي كانت ستوصي به، وغالبًا عن غير قصد، بقاعدة "احظر الذكاء الاصطناعي" حسنة النية نُسخت من تدوينة ما.

نوعان من بوتات الذكاء الاصطناعي

هذا هو التمييز الذي يغيّر كل شيء:

بوتات التدريب تجمع البيانات لتدريب نماذج مستقبلية. حظرها خيار مشروع، فهو يؤثر في دخول محتواك ضمن بيانات تدريب نموذج ما، لا في قدرة المساعد على العثور عليك اليوم.

• GPTBot (تدريب OpenAI)
• ClaudeBot (تدريب Anthropic)
• Google-Extended (خيار الانسحاب من تدريب الذكاء الاصطناعي لدى Google)
• CCBot، Bytespider، Meta-ExternalAgent

بوتات البحث والإجابة تجلب الصفحات لحظة طرح السؤال لتجيب المستخدم. احظرها، ولن يستطيع المساعد حرفيًا أن يرى متجرك حين يسأل عنه أحد.

• OAI-SearchBot وChatGPT-User (البحث والتصفح في ChatGPT)
• PerplexityBot وPerplexity-User
• Claude-SearchBot وClaude-User
• Googlebot (يشغّل أيضًا ملخصات الذكاء الاصطناعي ووضع الذكاء الاصطناعي) وBingbot (بحث ChatGPT يعتمد على فهرس Bing)

قاعدة مثل User-agent: GPTBot / Disallow: / لا تحظر بحث ChatGPT. أمّا قاعدة تحظر OAI-SearchBot فتحظره. وكثير من المتاجر لديها القاعدة الثانية دون أن تعلم.

الإصلاح ذو الأسطر الثلاثة

إذا أردت أن تكون جديرًا بالتوصية، فتأكّد من أن بوتات الإجابة مسموح لها صراحةً. ويمكنك أن تواصل حظر بوتات التدريب إن كانت تلك سياستك:

User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

# Optional: opt out of training only
User-agent: GPTBot
Disallow: /

مشكلة الجدار الناري التي لا يذكرها أحد

قد يكون ملف robots.txt لديك مثاليًا، ومع ذلك تبقى بوتات الذكاء الاصطناعي محظورة، بسبب Cloudflare أو جدار حماية تطبيقات ويب (WAF) آخر يعرض تحدّي "جارٍ التحقق من متصفحك" لكل ما ليس متصفحًا عاديًا. من جهة البوت، متجرك صفحة فارغة. يختبر فحص NIMSEO ذلك بجلب صفحتك الرئيسية بهوية كل بوت ومقارنة ما يعود.

على سلة وزد وShopify

يتيح Shopify تعديل robots.txt.liquid من محرّر أكواد القالب. أمّا في سلة وزد فملف robots.txt تديره المنصة: تحقّق من محتواه (بزيارة yourstore.com/robots.txt)، وإذا كان أحد بوتات الإجابة محظورًا فارفع الأمر إلى دعم المنصة، فهذا إعداد على مستوى المنصة وليس شيئًا تتحايل عليه.

شغّل الفحص المجاني. إذا ظهر G1 أو G2 باللون الأحمر، فهذا المقال هو إصلاحك.