في وقت ما من مايو 2026، تجاوز الإنترنت عتبة فارقة: فقد تفوقت الحركة الآلية على حركة البشر. وكانت Cloudflare، التي تتعامل مع نحو خُمس الويب، قد توقعت حدوث ذلك في النصف الثاني من 2027، لكن برامج زحف الذكاء الاصطناعي ووكلاءه عجّلت به بأكثر من عام. وفي أوائل يونيو، أعلن الرئيس التنفيذي لـ Cloudflare أن الروبوتات باتت مسؤولة عن نحو 57% من طلبات صفحات الويب.
بالنسبة لأصحاب المواقع، الأمر ليس مجرد إحصائية. فكل طلب من روبوت يستهلك من المعالج والذاكرة وعرض النطاق ما يستهلكه زائر حقيقي، وفي كثير من المواقع تأتي حصة متزايدة من هذا الحمل من برامج زحف الذكاء الاصطناعي التي لا تكاد تعيد أي زائر. يوضح لك هذا الدليل كيف تعرف حجم حركة الروبوتات على موقعك، وأيها تسمح له، وكيف تتحكم في البقية.
أهم النقاط
- تجاوزت الحركة الآلية حركة البشر في مايو 2026، وفقًا لـ Cloudflare.
- شكّل تدريب الذكاء الاصطناعي 52% من طلبات برامج الزحف بحلول يونيو 2026، ومعظم برامج زحف التدريب لا تعيد إلا القليل من الزيارات.
- تستهلك طلبات الروبوتات موارد حقيقية من المعالج والذاكرة وعرض النطاق، وقد تتسبب في أخطاء 503 على الاستضافة المشتركة.
- احظر روبوتات التدريب في ملف robots.txt مع السماح لروبوتات البحث، وفرض القيود على الخادم للروبوتات التي تتجاهله.
- يجعل التخزين المؤقت للصفحات الكاملة عمليات الزحف المتكررة قليلة التكلفة، لأن معظم ما تجلبه الروبوتات لم يتغير.
ما حجم هذا التحول؟
تكشف أرقام Cloudflare نفسها لعام 2026 مدى سرعة حدوثه:
- نمت الطلبات اليومية من وكلاء الذكاء الاصطناعي بأكثر من 1,700% خلال عام واحد.
- شكّل تدريب الذكاء الاصطناعي 52% من طلبات برامج الزحف بحلول يونيو 2026، بعد أن كان 22% في ربيع 2025.
- أكثر من نصف ما تجلبه الروبوتات حسنة السلوك لم يتغير منذ زيارتها الأخيرة.
- في بعض الفئات التي تتعرض لزحف مكثف، انخفضت حركة البشر بنسبة تصل إلى 40% في أقل من عام، إذ صار الناس يحصلون على الإجابات من أدوات الذكاء الاصطناعي بدلًا من النقر على الروابط.
يتضح هذا الخلل بجلاء فيما تسميه Cloudflare نسبة الزحف إلى الإحالة: أي عدد الصفحات التي تزحف إليها روبوتات شركة ما مقابل كل زائر تعيده منتجاتها إلى الموقع. ففي يوليو 2025، زحفت Google إلى نحو 5 صفحات مقابل كل زائر محال، وOpenAI إلى نحو 1,091 صفحة، وAnthropic إلى نحو 38,066 صفحة. محركات البحث تزحف لتجلب لك الزيارات، أما معظم برامج زحف تدريب الذكاء الاصطناعي فلا تفعل ذلك.
ما الذي يكلّفه ذلك أصحاب المواقع
تأتي بعض أوضح الأمثلة من مؤسسات نشرت أرقامها:
- أفاد Read the Docs بأن برنامج زحف واحدًا نزّل 73 TB من الملفات في مايو 2024، منها نحو 10 TB في يوم واحد، بتكلفة تجاوزت 5,000 دولار من عرض النطاق. وأدى حظر برامج زحف الذكاء الاصطناعي إلى خفض عرض النطاق اليومي للتنزيل بنسبة 75%.
- وجدت Wikimedia أن الروبوتات تمثل نحو 35% من مرات مشاهدة الصفحات، لكنها مسؤولة عن 65% على الأقل من أكثر حركتها استهلاكًا للموارد، لأن برامج الزحف تطلب صفحات غير موجودة في ذاكرة التخزين المؤقت.
- وصف مؤسس SourceHut كيف كان يقضي ما يصل إلى أسبوع عمله كاملًا في التصدي لبرامج زحف تتجاهل robots.txt، مع عشرات الانقطاعات القصيرة أسبوعيًا.
أما في المواقع الأصغر، فتظهر التكلفة بشكل مختلف. ففي الاستضافة المشتركة، يُحتسب كل طلب ضمن حدود موارد حسابك. وقد تستنفد موجة من طلبات برامج الزحف إلى صفحات غير مخزنة مؤقتًا عمليات PHP المتاحة لك، فتتسبب في أخطاء 503 أو بطء للزوار الحقيقيين، وهي الأعراض نفسها التي نشرحها في دليلنا عن حدود LVE وأخطاء 503. أما على خادم VPS أو خادم سحابي، فتظهر على شكل ارتفاعات مفاجئة في استهلاك المعالج وعرض النطاق.
الخطوة 1: اعرف حجم حركة الروبوتات على موقعك
يسجّل سجل الوصول في خادم الويب وكيل المستخدم لكل طلب. تحسب هذه الأوامر عدد الطلبات وعرض النطاق لكل روبوت:
# Requests per AI and search bot
awk -F'"' '{print $6}' access.log \
| grep -oiE 'GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-User|Claude-SearchBot|PerplexityBot|Perplexity-User|Googlebot|Bingbot|Applebot|meta-externalagent|Bytespider|CCBot|Amazonbot' \
| sort | uniq -c | sort -rn
# Bandwidth per AI crawler
awk -F'"' '{split($3,a," "); ua=$6;
if (match(ua,/GPTBot|ClaudeBot|Bytespider|CCBot|Amazonbot|meta-externalagent/))
b[substr(ua,RSTART,RLENGTH)]+=a[2]}
END {for (k in b) printf "%-20s %.1f MB\n", k, b[k]/1048576}' access.log
# The 20 busiest user agents overall
awk -F'"' '{print $6}' access.log | sort | uniq -c | sort -rn | head -20في استضافة cPanel، تجد سجلات الوصول الخام ضمن Metrics > Raw Access، أو في ~/access-logs/ عبر SSH. أما على خادم VPS فتكون عادةً في /var/log/nginx/ أو /var/log/apache2/.
الخطوة 2: اعرف الروبوتات التي يجب السماح لها
تشغّل معظم شركات الذكاء الاصطناعي روبوتات منفصلة للتدريب، وللبحث، ولجلب الصفحات عندما يطلبها مستخدم. وقد يؤدي حظر الروبوت الخطأ إلى اختفائك من بحث الذكاء الاصطناعي، لذا من المفيد أن تعرف الفرق:
- برامج زحف التدريب: GPTBot (من OpenAI)، وClaudeBot (من Anthropic)، وmeta-externalagent (من Meta)، وCCBot (من Common Crawl)، وAmazonbot (من Amazon)، وBytespider (من ByteDance). حظر هذه الروبوتات لا يؤثر على ظهورك في البحث.
- برامج زحف بحث الذكاء الاصطناعي: OAI-SearchBot (لبحث ChatGPT)، وClaude-SearchBot، وPerplexityBot. إذا حظرتها فستختفي من نتائج بحث الذكاء الاصطناعي الخاصة بها.
- برامج الجلب التي يطلقها المستخدمون: تجلب ChatGPT-User وClaude-User وPerplexity-User الصفحة لأن شخصًا ما سأل عنها. وتقول OpenAI وPerplexity إن هذه الروبوتات قد لا تلتزم بملف robots.txt، لأن الطلب صادر عن شخص.
- رموز تحكم وليست برامج زحف: لا يزحف Google-Extended وApplebot-Extended إلى أي شيء على الإطلاق، بل يخبران Google وApple بما إذا كان يمكن استخدام المحتوى الذي جلبته برامج الزحف العادية لديهما في تدريب الذكاء الاصطناعي. وحظرهما لا يؤثر على بحث Google أو ميزات البحث لدى Apple.
الخطوة 3: اضبط قواعدك في ملف robots.txt
بالنسبة لمعظم الشركات، يتمثل الخيار الافتراضي المعقول في البقاء ظاهرًا في البحث وبحث الذكاء الاصطناعي مع رفض المشاركة في التدريب:
# Opt out of AI model training
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
User-agent: Bytespider
User-agent: Amazonbot
Disallow: /
# Stay in AI search
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Allow: /
# Everyone else, including Googlebot and Bingbot
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xmlتلتزم Anthropic وCommon Crawl وBing أيضًا بسطر Crawl-delay، مثل Crawl-delay: 5، لإبطاء الزحف بدلًا من حظره. أما Google وAmazon فتتجاهلانه.
ملف robots.txt طلب وليس قفلًا تلتزم برامج الزحف حسنة السلوك من OpenAI وAnthropic وGoogle وغيرها بملف robots.txt، لكن لا شيء يُجبر أي روبوت على ذلك. فقد تتخطاه برامج الجلب التي يطلقها المستخدمون، وتشير تقارير كثيرة إلى أن Bytespider يتجاهله، كما أفادت Cloudflare في 2025 بأن Perplexity تزحف باستخدام وكلاء مستخدم غير مُعلنة تشبه المتصفحات (وقد نفت Perplexity ذلك). وللتعامل مع الروبوتات التي لا تلتزم، افرض القيود على الخادم.
الخطوة 4: افرض القيود على الخادم
استضافة Apache وLiteSpeed وcPanel (.htaccess)
على خوادم Apache وLiteSpeed، بما في ذلك استضافة cPanel واستضافة WordPress من WebGee، يمكنك رفض روبوتات بعينها في ملف .htaccess:
# .htaccess: refuse crawlers you don't want, with a 403
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (Bytespider|CCBot|meta-externalagent) [NC]
RewriteRule .* - [F,L]nginx: حدّ من معدل طلبات برامج زحف الذكاء الاصطناعي بدلًا من حظرها
على خادم VPS الخاص بك، يمكن لـ nginx إبطاء برامج زحف الذكاء الاصطناعي دون المساس بالزوار ومحركات البحث. إذ تحصل الطلبات القادمة من وكلاء المستخدم الأخرى على مفتاح فارغ، فلا تخضع لأي تقييد:
# http {} block
map $http_user_agent $ai_bot {
default "";
~*(GPTBot|ClaudeBot|CCBot|Bytespider|Amazonbot|meta-externalagent|PerplexityBot) $binary_remote_addr;
}
limit_req_zone $ai_bot zone=aibots:10m rate=30r/m;
limit_req_status 429;
# server {} or location / {}
limit_req zone=aibots burst=10 nodelay;تحقّق من أن "Googlebot" هو Google فعلًا
من السهل تزييف وكلاء المستخدم، وكثيرًا ما تنتحل أدوات الكشط صفة Googlebot لتتجاوز القواعد. تحقّق من ذلك عبر بحث DNS عكسي، ثم بحث أمامي يعيد عنوان IP نفسه. أما OpenAI وAnthropic وPerplexity فتنشر نطاقات عناوين IP لبرامج الزحف الخاصة بها في ملفات JSON بدلًا من ذلك.
# Reverse lookup: a real Googlebot resolves to googlebot.com or google.com
host 66.249.66.1
# crawl-66-249-66-1.googlebot.com
# Forward lookup must return the same IP
host crawl-66-249-66-1.googlebot.com
# 66.249.66.1الخطوة 5: استخدم التخزين المؤقت لتقليل تكلفة الروبوتات
بما أن أكثر من نصف ما تجلبه الروبوتات لم يتغير منذ زيارتها الأخيرة، فإن الحل الأقل تكلفة غالبًا هو التخزين المؤقت للصفحات الكاملة. فالصفحة المخزنة مؤقتًا تُقدَّم مباشرة من الذاكرة أو القرص دون تشغيل PHP أو الاستعلام من قاعدة البيانات، فلا يكاد يُلحظ أثر موجة الزحف. وفي WordPress، تتولى إضافة LiteSpeed Cache ذلك على خوادم LiteSpeed بمجرد تفعيلها. أما في البيئات الأخرى، فاستخدم FastCGI cache في nginx أو Varnish أو التخزين المؤقت في شبكة CDN.
الخطوة 6: استخدم أدوات التحكم في الذكاء الاصطناعي لدى شبكة CDN
إذا كان موقعك يستخدم Cloudflare، فلديك الآن أدوات تحكم حسب الغرض. فمنذ يوليو 2026، يمكنك السماح لبرامج الزحف أو حظرها بشكل منفصل للبحث واستخدام الوكلاء والتدريب، أو حظرها على الصفحات التي تحتوي على إعلانات فقط، وذلك في جميع الخطط بما فيها الخطة المجانية. وفي 15 سبتمبر 2026، غيّرت Cloudflare الإعداد الافتراضي للمواقع الجديدة، ولمواقع الخطة المجانية التي لم يغيّر أصحابها إعداداتهم: أصبح البحث مسموحًا، بينما يُحظر التدريب واستخدام الوكلاء على الصفحات التي تحتوي على إعلانات. كما تُحظر على هذه الصفحات برامج الزحف التي تجمع بين البحث والتدريب دون أن تتيح لك الاختيار.
إذا كنت تستخدم Cloudflare، فراجع هذه الإعدادات الآن، فقد تكون الإعدادات الافتراضية الجديدة سارية بالفعل على موقعك، وربما تفضّل خيارًا مختلفًا. كما تتيح لك Cloudflare إضافة Content Signals، مثل Content-Signal: search=yes, ai-train=no، إلى ملف robots.txt للتعبير عن تفضيلاتك.
قائمة التحقق للتحكم في روبوتات الذكاء الاصطناعي
- احسب طلبات الروبوتات وعرض النطاق الذي تستهلكه في سجلات الوصول
- حدّد قرارك: البقاء في بحث الذكاء الاصطناعي، أو رفض المشاركة في التدريب، أو كليهما
- حدّث ملف robots.txt بقواعد منفصلة لروبوتات التدريب وروبوتات البحث
- احظر الروبوتات التي تتجاهل robots.txt أو حدّ من معدل طلباتها على الخادم
- تحقّق من أي روبوت يدّعي أنه Googlebot قبل الوثوق به
- فعّل التخزين المؤقت للصفحات الكاملة لتصبح عمليات الزحف المتكررة قليلة التكلفة
- راجع إعدادات برامج زحف الذكاء الاصطناعي والإعدادات الافتراضية في شبكة CDN
استضافة تمنع الروبوتات من إبطاء موقعك
أصبحت حركة الروبوتات اليوم جزءًا طبيعيًا من إدارة أي موقع، لذا يجب أن تكون استضافتك قادرة على استيعابها. تعمل استضافة WebGee على خوادم ويب LiteSpeed التي تدعم LiteSpeed Cache: وهو تخزين مؤقت للصفحات الكاملة يقدّم الطلبات المتكررة دون المرور بـ PHP. وتحصل على تحكم كامل في ملفي .htaccess وrobots.txt، وإمكانية الوصول إلى سجلاتك الخام، وتكامل مع شبكة Cloudflare CDN في استضافة cPanel السحابية، ودعم على مدار الساعة طوال أيام الأسبوع من مهندسين يمكنهم مساعدتك في قراءة سجلاتك واكتشاف أي مشكلة في برامج الزحف.
وإذا كانت الروبوتات تدفع موقعك باستمرار إلى بلوغ حدود موارده، فإن الخادم السحابي يمنحك موارد مخصصة وتحكمًا كاملًا في nginx وحدود المعدل وجدران الحماية.
الأسئلة الشائعة
هل سيؤدي حظر GPTBot إلى إزالة موقعي من ChatGPT؟
لا. يجمع GPTBot بيانات التدريب، بينما يستخدم بحث ChatGPT الروبوت OAI-SearchBot، لذا اسمح لـ OAI-SearchBot إذا أردت الظهور في نتائج بحث ChatGPT.
هل يؤثر حظر Google-Extended على ترتيبي في Google؟
لا. يتحكم Google-Extended فقط في استخدام محتواك لتدريب Gemini وتأسيس إجاباته. وتؤكد Google أنه لا يؤثر على الظهور في بحث Google أو على الترتيب.
هل تلتزم جميع روبوتات الذكاء الاصطناعي بملف robots.txt؟
لا. تقول برامج زحف التدريب والبحث الكبرى إنها تلتزم به، لكن برامج الجلب التي يطلقها المستخدمون قد لا تلتزم، وتشير تقارير كثيرة إلى أن بعض برامج الزحف مثل Bytespider تتجاهله. استخدم قواعد الخادم أو شبكة CDN الخاصة بك للتعامل معها.
كيف أعرف إن كانت الروبوتات تُبطئ موقعي؟
احسب عدد الطلبات حسب وكيل المستخدم (user agent) في سجلات الوصول، وقارن فترات الذروة باستهلاكك للموارد. وفي cPanel، راجع صفحة Resource Usage بحثًا عن حالات بلوغ الحدود في الأوقات نفسها.
ما الذي تغيّر في Cloudflare في 15 سبتمبر 2026؟
بالنسبة للمواقع الجديدة، ولمواقع الخطة المجانية التي لم يغيّر أصحابها إعداداتهم، أصبحت Cloudflare افتراضيًا تسمح لبرامج زحف البحث، لكنها تحظر تدريب الذكاء الاصطناعي واستخدام الوكلاء على الصفحات التي تحتوي على إعلانات.
