أفضل ممارسات robots.txt في WordPress لعام 2026 (ما الذي تضعه فيه فعلًا)

ملف robots.txt الجيد في WordPress طوله خمسة أسطر تقريبًا. احجب /wp-admin/، واسمح بـ admin-ajax.php، ووجّه الزواحف إلى خريطة موقعك، وتوقف عند هذا الحد — أما قوائم الحظر الممتدة على أربعين سطرًا التي تجدها في المنتديات فهي في معظمها تكسر عرض الصفحات أو لا تفعل شيئًا أصلًا. الملف كاملًا:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://example.com/wp-sitemap.xml

استبدل النطاق، وإذا كنت تستخدم إضافة SEO تتولى خرائط الموقع، فوجّه سطر Sitemap إلى فهرس تلك الإضافة بدلًا من ذلك. هذا كل شيء. وإذا كان ملفك أطول من هذا، فالأسطر الزائدة تكلفك شيئًا على الأرجح.

WordPress ينشئ واحدًا بالفعل — إلى أن تنشئ ملفًا حقيقيًا

يقدّم WordPress ملف robots.txt افتراضيًا. فحين يصل طلب إلى /robots.txt ولا يوجد ملف فعلي في جذر الويب، يعترض WordPress الطلب ويطبع استجابة في الذاكرة. لا شيء يُكتب على القرص. والإخراج الافتراضي هو كتلة wp-admin أعلاه، إضافة إلى سطر Sitemap: لملف wp-sitemap.xml تصدره النواة منذ WordPress 5.5.

أمران يغيّران هذا الإخراج. إذا كان خيار الإعدادات ← القراءة ← منع محركات البحث من فهرسة هذا الموقع مفعّلًا، فإن WordPress يستبدل كل شيء بـ Disallow: /، وهو ما يحجب الموقع بالكامل. هذا الخيار هو السبب الأول لاختفاء المواقع من البحث بعد الإطلاق. وثانيًا، تستطيع الإضافات والقوالب تعديل الإخراج الافتراضي عبر فلتر robots_txt، وهي الطريقة التي تحقن بها إضافات SEO أسطر خرائط مواقعها وقواعدها.

والآن الجزء الذي يضيّع بعد ظهيرة الناس. وجود ملف robots.txt فعلي في جذر الويب يتجاوز كل ما سبق بصمت. يجد خادمك ملفًا حقيقيًا على القرص فيقدّمه، ولا يُحمَّل WordPress إطلاقًا. المولّد الافتراضي لا يعمل. وفلتر robots_txt لا يُستدعى. وقد يستمر محرر robots.txt في إضافة SEO لديك في عرض واجهة أنيقة تحوي القواعد الصحيحة، ولا شيء من ذلك يصل إلى أي زاحف.

مكان القواعد	قابل للتعديل من لوحة WordPress	من ينتصر في الطلب الحيّ
افتراضي (لا ملف على القرص)	نعم، عبر فلتر robots_txt أو إضافة	فقط حين لا يوجد ملف فعلي
ملف فعلي في جذر الويب	فقط إذا كانت الإضافة تكتب على القرص	دائمًا

لذا قبل أن تشخّص أي شيء: افتح https://yoursite.com/robots.txt في المتصفح، ثم اتصل عبر SFTP أو مدير ملفات استضافتك وتحقق مما إذا كان هناك ملف robots.txt حقيقي بجوار wp-config.php و.htaccess. إن وُجد، فذلك الملف هو robots.txt الخاص بك. عدّله هناك أو احذفه ودع WordPress يتولى الأمر — لكن اختر واحدًا. تشغيل الاثنين معًا هو ما ينتهي بالمواقع إلى رابط خريطة موقع قديم لا يجده أحد.

لماذا يُحجب ‎/wp-admin/‎ بينما يُسمح بـ admin-ajax.php

مجلد /wp-admin/ يضم لوحة التحكم. هذه الروابط عديمة الفائدة في نتائج البحث، والزحف إليها يستهلك ميزانية الزحف على صفحات تعيد التوجيه إلى شاشة تسجيل الدخول. حجب المجلد أمر لا خلاف عليه.

أما admin-ajax.php فيقع داخل ذلك المجلد لكنه ليس صفحة إدارة. إنه النقطة التي تستخدمها الإضافات والقوالب لمعالجة طلبات AJAX في الواجهة — أزرار “تحميل المزيد”، وشبكات المنتجات المفلترة، والحاسبات، والنماذج. إذا لم يستطع الزاحف جلبه، فلن يرى المحتوى الذي تحمّله تلك الميزات، وتعرض Google صفحتك كما يراها زائر والميزة معطّلة لديه.

أما هل تحتاج Google فعلًا إلى جلب admin-ajax.php على موقعك تحديدًا، فذلك يعتمد على استخدام واجهتك له. والإجابة الصريحة: على كثير من المواقع الحديثة لا يهم الأمر إطلاقًا، لأن القالب يستخدم REST API على /wp-json/ بدلًا منه. سطر Allow وثيقة تأمين رخيصة ضد عطل حقيقي محتمل، لا عامل ترتيب. أبقِه لأنه لا يكلفك شيئًا.

لا تحجب ‎/wp-content/‎ ولا ‎/wp-includes/‎

هذه أسوأ نصيحة ما زالت متداولة بشأن robots.txt، وهي تعود إلى زمن لم تكن Google تعرض فيه الصفحات.

مجلد /wp-content/ يحوي قوالبك وإضافاتك وملفاتك المرفوعة — أي ملفات التنسيق والسكربتات والصور التي تجعل صفحاتك تبدو كصفحات. ومجلد /wp-includes/ يحوي JavaScript الأساسية التي تعتمد عليها الإضافات. تعرض Google صفحاتك بمتصفح بلا واجهة قبل الحكم عليها. احجب هذين المجلدين وسيحصل محرك العرض على صفحة بلا CSS وبلا صور. وما تقيّمه Google حينها جدار نص بلا تنسيق وتخطيط مكسور، وهو ما يؤثر في فهمها لمحتواك وفي تقييمها لملاءمة الجوال.

إذا ورثت ملفًا يحوي هذه الأسطر، فاحذفها:

Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/

تستطيع تأكيد الضرر بنفسك من أداة فحص الروابط في Google Search Console. شغّل اختبارًا مباشرًا على أي صفحة، واعرض لقطة الشاشة المعروضة، وراجع قائمة موارد الصفحة بحثًا عن عناصر محجوبة. إذا ظهرت ملفات CSS لديك كمحجوبة، فهذا هو السبب.

توجيه Sitemap

سطر واحد، برابط مطلق، ويمكن أن يوضع في أي مكان من الملف — فهو غير مرتبط بمجموعة User-agent.

Sitemap: https://example.com/wp-sitemap.xml

استخدم الرابط الذي يعمل فعلًا. نواة WordPress تقدّم wp-sitemap.xml. ومعظم إضافات SEO تعطّل خرائط النواة وتقدّم فهرسها الخاص على مسار مختلف، غالبًا sitemap_index.xml. افتح رابطك في المتصفح قبل اعتماده — فسطر Sitemap يشير إلى صفحة 404 أسوأ من غياب السطر، لأنه يبدو صحيحًا في أي تدقيق.

لا بأس بإدراج عدة خرائط، واحدة في كل سطر. ويبقى إرسال خرائط الموقع في Search Console خطوة منفصلة تستحق التنفيذ؛ أما توجيه robots.txt فهو الطريقة التي تجدها بها الزواحف التي لا ترى حسابك في Search Console أبدًا.

ملف robots.txt ليس noindex وليس أمانًا

هذان سوءا الفهم يسببان معظم الأضرار المرتبطة بـ robots.txt.

حجب رابط لا يزيله من Google. ملف robots.txt يحكم الزحف. فإذا ربط موقع آخر برابط محجوب، تستطيع Google فهرسة الرابط نفسه — فتحصل على نتيجة بالعنوان المجرد وملاحظة بعدم توفر معلومات. وهناك فخ أسوأ: إذا كانت الصفحة تحمل وسم noindex ثم حجبتها في robots.txt، فلن تستطيع Google الزحف إليها ولا رؤية noindex، وقد تبقى الصفحة مفهرسة إلى أجل غير مسمى. لإزالة صفحة، اسمح بالزحف إليها وقدّم وسم noindex في meta robots داخل ترويسة الصفحة أو ترويسة X-Robots-Tag في HTTP. وقد أوقفت Google دعم توجيهات noindex داخل robots.txt عام 2019.

حجب مسار لا يحميه. ملف robots.txt عام بحكم تعريفه. وإدراج /private-client-files/ يخبر كل زائر وكل ماسح بالضبط أين ينظر، والالتزام طوعي — Google تحترمه، والروبوتات المعادية لا تفعل. أي شيء يحتاج حماية يحتاج مصادقة أو تقييدًا بعناوين IP أو قواعد على مستوى الخادم في .htaccess، لا سطرًا في ملف نصي يعلن عن الهدف.

قواعد تستحق الإضافة وأخرى تستحق التجاهل

هناك إضافتان مفيدتان فعلًا على كثير من المواقع. حجب مسار نتائج البحث يمنع الزواحف من توليد روابط لا نهائية منخفضة القيمة من بحثك الداخلي. وحجب مسار السلة أو الدفع في WooCommerce يبقي روابط معاملات الجلسة خارج الزحف.

Disallow: /?s=
Disallow: /search/

تجاهل هذه:

• Crawl-delay — تتجاهله Google تمامًا. استخدم أدوات التحكم في معدل الزحف في Search Console إذا كانت لديك مشكلة حمل حقيقية على الخادم.
• حجب /feed/ أو /trackback/ — روابط غير ضارة، والخلاصات مفيدة.
• القوائم الطويلة بأسماء روبوتات فردية — فمعظم الروبوتات التي يحاول الناس حجبها لا تعرّف عن نفسها بصدق أصلًا.
• حجب /wp-json/ — فقد يكون هو ما يستخدمه قالبك لعرض المحتوى.

ابنِ الملف عبر مولّد robots.txt لـ WordPress، الذي ينتج النسخة الصحيحة الدنيا ويتيح لك إضافة قواعد البحث والمتجر دون تحرير الصياغة يدويًا.

بعد تعديله

افتح https://yoursite.com/robots.txt مباشرة وتأكد أن ما يُقدَّم فعلًا هو ما تتوقعه — لا ما يعرضه لك محرر الإضافة. ثم شغّل فحص رابط مباشرًا في Search Console على صفحة عادية وتحقق من عدم عودة أي موارد CSS أو JavaScript كمحجوبة. تخزّن Google ملف robots.txt مؤقتًا ليوم تقريبًا، فالإصلاح لن يسري فورًا، وكذلك الخطأ. هذا التأخير هو سبب التحقق بعناية بدل الاختبار على الموقع الحي والانتظار.