robots.txt בוורדפרס — מה באמת צריך להיות בו ב-2026

קובץ robots.txt טוב בוורדפרס הוא בערך חמש שורות. חסמו את /wp-admin/, אפשרו את admin-ajax.php, הפנו את הסורקים למפת האתר שלכם, ותעצרו שם — רשימות החסימה המתפרשות על 40 שורות שתמצאו בפורומים בעיקר שוברות רינדור או לא עושות כלום. הקובץ כולו:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://example.com/wp-sitemap.xml

החליפו את הדומיין, ואם אתם משתמשים בתוסף SEO שמשתלט על מפות האתר, הפנו את שורת ה-Sitemap לאינדקס של אותו תוסף במקום. זהו. אם הקובץ שלכם ארוך מזה, השורות הנוספות כנראה עולות לכם במשהו.

וורדפרס כבר מייצר אחד — עד שאתם יוצרים קובץ אמיתי

וורדפרס מגיע עם robots.txt וירטואלי. כשמגיעה בקשה ל-/robots.txt ולא קיים קובץ ממשי בשורש האתר, וורדפרס מיירט את הבקשה ומדפיס תגובה בזיכרון. שום דבר לא נכתב לדיסק. פלט ברירת המחדל הוא חסימת wp-admin שלמעלה, בתוספת שורת Sitemap: עבור wp-sitemap.xml שהליבה פולטת מאז וורדפרס 5.5.

שני דברים משנים את הפלט הזה. אם הגדרות ← קריאה ← מנע ממנועי חיפוש להוסיף את האתר לאינדקס מסומן, וורדפרס מחליף את הכול ב-Disallow: /, שחוסם הכול. תיבת הסימון הזו היא הסיבה הנפוצה ביותר לאתר שנעלם מהחיפוש אחרי עלייה לאוויר. שנית, תוספים ותבניות יכולים לשנות את הפלט הווירטואלי דרך הפילטר robots_txt, וכך תוספי SEO מזריקים את שורות מפת האתר והכללים שלהם.

עכשיו החלק שמבזבז לאנשים אחר צהריים שלם. קובץ robots.txt פיזי בשורש האתר דורס את כל זה בשקט. שרת האינטרנט שלכם מוצא קובץ אמיתי על הדיסק, מגיש אותו, ווורדפרס בכלל לא נטען. המחולל הווירטואלי לא רץ. הפילטר robots_txt לא נורה. עורך ה-robots.txt של תוסף ה-SEO שלכם עדיין יראה לכם ממשק יפה עם הכללים הנכונים בתוכו, ושום דבר מזה לא מגיע לסורק.

איפה הכללים חיים	ניתן לעריכה בממשק הניהול	מנצח בבקשה חיה
וירטואלי (אין קובץ על הדיסק)	כן, דרך הפילטר robots_txt או דרך תוסף	רק כשלא קיים קובץ פיזי
קובץ פיזי בשורש האתר	רק אם התוסף כותב לדיסק	תמיד

אז לפני שאתם מנפים משהו: פתחו את https://yoursite.com/robots.txt בדפדפן, ואז התחברו ב-SFTP או במנהל הקבצים של ספק האחסון ובדקו אם קובץ robots.txt אמיתי יושב לצד wp-config.php ו-.htaccess. אם כן, הקובץ הזה הוא ה-robots.txt שלכם. ערכו אותו שם או מחקו אותו ותנו לוורדפרס להשתלט — אבל תבחרו אחד. הרצה של שניהם היא הדרך שבה אתרים מגיעים לכתובת מפת אתר מיושנת שאף אחד לא מוצא.

למה /wp-admin/ חסום אבל admin-ajax.php מאושר

/wp-admin/ מכיל את לוח הבקרה. הכתובות האלה חסרות תועלת בתוצאות חיפוש וסריקה שלהן שורפת תקציב סריקה על דפים שמפנים למסך התחברות. חסימת התיקייה אינה שנויה במחלוקת.

admin-ajax.php נמצא בתוך אותה תיקייה אבל אינו דף ניהול. זו נקודת הקצה שתוספים ותבניות משתמשים בה כדי לטפל בבקשות AJAX בצד הלקוח — כפתורי “טען עוד”, רשתות מוצרים מסוננות, מחשבונים, טפסים. אם סורק לא יכול למשוך אותה, הוא לא יכול לראות תוכן שהתכונות האלה טוענות, וגוגל מרנדרת את הדף שלכם כפי שמבקר היה רואה אותו עם התכונה שבורה.

האם גוגל באמת צריכה למשוך את admin-ajax.php באתר הספציפי שלכם תלוי בשאלה האם הצד הקדמי שלכם משתמש בה. תשובה כנה: בהרבה אתרים מודרניים זה בכלל לא משנה, כי התבנית משתמשת ב-REST API בכתובת /wp-json/ במקום. שורת ה-Allow היא פוליסת ביטוח זולה מפני מצב כשל אמיתי, לא גורם דירוג. שמרו עליה כי היא לא עולה כלום.

אל תחסמו את /wp-content/ או את /wp-includes/

זו העצה הגרועה ביותר לגבי robots.txt שעדיין מסתובבת, והיא מתוארכת לתקופה שבה גוגל לא רינדרה דפים.

/wp-content/ מכיל את התבניות, התוספים וההעלאות שלכם — גיליונות הסגנון, הסקריפטים והתמונות שגורמים לדפים שלכם להיראות כמו דפים. /wp-includes/ מכיל JavaScript של הליבה שתוספים תלויים בו. גוגל מרנדרת את הדפים שלכם עם דפדפן ללא ממשק לפני שהיא שופטת אותם. חסמו את התיקיות האלה והמרנדר יקבל דף בלי CSS ובלי תמונות. מה שגוגל מעריכה הוא קיר טקסט חסר עיצוב עם פריסה שבורה, וזה משפיע על האופן שבו היא מבינה את התוכן שלכם ועל ציון הידידותיות לנייד.

אם ירשתם קובץ עם השורות האלה, מחקו אותן:

Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/

אתם יכולים לאמת את הנזק בעצמכם בכלי בדיקת הכתובות של Google Search Console. הריצו בדיקה חיה על דף כלשהו, צפו בצילום המסך המרונדר, ובדקו את רשימת משאבי הדף לאיתור פריטים חסומים. אם ה-CSS שלכם מופיע כחסום, זו הסיבה.

הנחיית Sitemap

שורה אחת, כתובת מוחלטת, והיא יכולה לשבת בכל מקום בקובץ — היא לא קשורה לקבוצת User-agent.

Sitemap: https://example.com/wp-sitemap.xml

השתמשו בכתובת שבאמת נפתחת. הליבה של וורדפרס מגישה את wp-sitemap.xml. רוב תוספי ה-SEO מכבים את מפות האתר של הליבה ומגישים אינדקס משלהם בנתיב אחר, בדרך כלל sitemap_index.xml. טענו את הכתובת שלכם בדפדפן לפני שאתם מקבעים אותה — שורת Sitemap שמצביעה על 404 גרועה יותר מאין שורה בכלל, כי היא נראית נכונה בביקורת.

לרשום כמה מפות אתר זה בסדר, אחת בכל שורה. עדיין שווה להגיש מפות אתר ב-Search Console בנפרד; הנחיית ה-robots.txt היא הדרך שבה סורקים שלעולם לא רואים את חשבון ה-Search Console שלכם מוצאים אותן.

robots.txt אינו noindex, והוא אינו אבטחה

שתי אי-ההבנות האלה גורמות לרוב הנזק סביב robots.txt.

חסימת כתובת לא מסירה אותה מגוגל. robots.txt מנהל סריקה. אם אתר אחר מקשר לכתובת חסומה, גוגל יכולה להוסיף את הכתובת עצמה לאינדקס — אתם מקבלים תוצאה עם הכתובת החשופה והערה שאין מידע זמין. ויש מלכודת מרושעת יותר: אם לדף כבר יש תג noindex ואז אתם חוסמים אותו ב-robots.txt, גוגל לא יכולה לסרוק אותו, לא יכולה לראות את ה-noindex, והדף יכול להישאר באינדקס ללא הגבלת זמן. כדי להסיר דף, אפשרו סריקה והגישו תג meta robots עם noindex ב-head של הדף או כותרת HTTP מסוג X-Robots-Tag. גוגל הפסיקה לתמוך בהנחיות noindex בתוך robots.txt ב-2019.

חסימת נתיב לא מגנה עליו. ה-robots.txt שלכם ציבורי מעצם הגדרתו. רישום של /private-client-files/ מספר לכל מבקר ולכל סורק בדיוק איפה לחפש, והציות הוא התנדבותי — גוגל מכבדת אותו, בוטים עוינים לא. כל דבר שצריך הגנה צריך אימות, הגבלת IP או כללים ברמת השרת ב-.htaccess, לא שורה בקובץ טקסט שמפרסמת את המטרה.

כללים ששווה להוסיף וכללים ששווה לדלג עליהם

שתי תוספות שימושיות באמת בהרבה אתרים. חסימת נתיב תוצאות החיפוש מונעת מסורקים לייצר כתובות אינסופיות בעלות ערך נמוך מהחיפוש הפנימי שלכם. חסימת נתיב עגלה או תשלום ב-WooCommerce מרחיקה כתובות עם פרמטרי סשן מהסריקה.

Disallow: /?s=
Disallow: /search/

דלגו על אלה:

• Crawl-delay — גוגל מתעלמת ממנו לחלוטין. השתמשו בבקרות קצב הסריקה ב-Search Console אם יש לכם בעיית עומס אמיתית בשרת.
• חסימת /feed/ או /trackback/ — כתובות לא מזיקות, והפידים שימושיים.
• רשימות ארוכות של שמות בוטים בודדים — רוב הבוטים שאנשים מנסים לחסום ממילא לא מזהים את עצמם בכנות.
• חסימת /wp-json/ — ייתכן שזה בדיוק מה שהתבנית שלכם משתמשת בו כדי לרנדר תוכן.

בנו את הקובץ עם מחולל robots.txt לוורדפרס, שמייצר את הגרסה המינימלית הנכונה ומאפשר לכם להוסיף את כללי החיפוש והמסחר בלי לערוך תחביר ביד.

אחרי שאתם משנים אותו

טענו את https://yoursite.com/robots.txt ישירות וודאו שהבתים שמוגשים הם מה שאתם מצפים לו — לא מה שהעורך של התוסף מראה לכם. אחר כך הריצו בדיקת כתובת חיה ב-Search Console על דף רגיל ובדקו ששום משאב CSS או JavaScript לא חוזר כחסום. גוגל שומרת robots.txt במטמון ליום בערך, כך שתיקון לא ייכנס לתוקף מיד, וגם טעות לא. העיכוב הזה הוא הסיבה לאמת בזהירות במקום לבדוק בסביבת הייצור ולחכות.