מה זה robots.txt? מדריך מלא עם דוגמאות לוורדפרס (2026)

יש קובץ טקסט קטן, בדרך כלל באורך של כמה שורות, שיכול להשפיע על כל האתר בגוגל. ראינו אתרים שעלו לאוויר עם שורה אחת שנשכחה מתקופת הבנייה, ובמשך שבועות אף עמוד שלהם לא נסרק. ראינו גם בעלי אתרים שניסו להוציא עמוד מגוגל דרך הקובץ הזה, וגילו שהעמוד ממשיך להופיע בתוצאות, רק בלי תיאור. הקובץ הזה נקרא robots.txt, והוא אחד הדברים הראשונים שאנחנו בודקים בכל אתר חדש שמגיע אלינו.

במדריך הזה אנחנו ב-YMDigital מסבירים מה זה robots.txt, איך גוגל קורא אותו, אילו פקודות קיימות ואיך בונים קובץ נכון לאתר וורדפרס ולחנות ווקומרס. הוספנו דוגמאות מוכנות להעתקה, השוואה ל-noindex, ורשימת הטעויות שאנחנו פוגשים הכי הרבה. הקובץ הוא חלק מבדיקה טכנית רחבה יותר, שעליה כתבנו במדריך אופטימיזציה טכנית לאתר.

מה זה robots.txt?

robots.txt הוא קובץ טקסט שנמצא בתיקייה הראשית של האתר, ואומר לרובוטים של מנועי החיפוש לאילו כתובות מותר להם להיכנס ולאילו לא. הוא מנהל את הסריקה של האתר, כלומר את התנועה של הבוטים, ולא קובע ישירות אילו עמודים יופיעו בגוגל.

במדריך נעבור על השלבים הבאים:

• איך גוגל קורא את הקובץ ומתי הוא שימושי
• איפה הקובץ נמצא ואיך רואים אותו
• הפקודות, התווים המיוחדים וסדר העדיפויות ביניהם
• איך כותבים קובץ מאפס
• דוגמאות מוכנות לאתר תדמית, לחנות, לאתר בבנייה, לחסימת בוטים של AI ולקבצים
• ההבדל בין robots.txt לבין noindex
• עריכה בוורדפרס ובדיקה ב-Search Console
• טעויות נפוצות ואיך נמנעים מהן

1. איך גוגל משתמש בקובץ robots.txt

1.1 הקובץ הראשון שהבוט מבקש

לפני שהבוט של גוגל סורק עמודים באתר, הוא מבקש את הקובץ robots.txt מהכתובת הראשית של האתר. הוא קורא את הכללים, בוחר את הקבוצה שמתאימה לו, ורק אז מתחיל לסרוק. גוגל שומר עותק של הקובץ בדרך כלל עד 24 שעות, ולכן שינוי שעשיתם לא תמיד נקלט מיד.

1.2 סריקה זה לא אינדוקס

זו הנקודה שהכי חשוב להבין. גוגל כותב במפורש שהקובץ אינו דרך להוציא עמוד מתוצאות החיפוש. אם יש קישורים לעמוד חסום, גוגל עלול להכניס את הכתובת לאינדקס גם בלי לסרוק אותה. במקרה כזה העמוד מופיע בתוצאות בלי תיאור, או עם הודעה שאין מידע זמין עליו. כדי להוציא עמוד מגוגל צריך noindex או סיסמה, ועל זה נרחיב בפרק 6.

1.3 מתי הקובץ באמת שימושי

• חיסכון במשאבי סריקה: חסימה של אזורים בלי ערך לחיפוש, כמו תוצאות חיפוש פנימי, מיון וסינון.
• מניעת עומס על השרת: באתרים גדולים, בוטים יכולים לסרוק אלפי כתובות כפולות שנוצרות מפרמטרים.
• קבצי מדיה: בקבצי תמונה, וידאו ושמע, חסימה בקובץ כן מונעת מהם להופיע בתוצאות החיפוש של גוגל.
• הפניה למפת האתר: שורת Sitemap עוזרת לכל מנועי החיפוש למצוא את מפת האתר XML.

1.4 מי מכבד את הקובץ

הקובץ הוא בקשה ולא מנעול. גוגל, בינג ורוב מנועי החיפוש המוכרים מכבדים אותו. בוטים של ספאם, סורקי פרצות וכלים לגניבת תוכן פשוט מתעלמים ממנו. לכן הקובץ לא נועד להגן על מידע, וזה מוביל אותנו לכלל חשוב: לא כותבים בו נתיבים רגישים, כי כל אחד יכול לקרוא אותו.

1.5 מה זה תקציב סריקה ומתי הוא חשוב

לכל אתר יש כמות סריקה שגוגל מוכן להשקיע בו, שנקבעת לפי יכולת השרת ולפי מידת העניין של גוגל בתוכן. באתר תדמית של כמה עשרות עמודים זה כמעט לא משנה, כי גוגל מספיק לסרוק הכול בקלות. בחנות עם אלפי מוצרים, מסננים ועמודי מיון, המצב שונה. כאן כל כתובת מיותרת שהבוט סורק היא כתובת חשובה שהוא לא הגיע אליה, ומוצרים חדשים עלולים להיכנס לגוגל באיטיות. במקרים כאלה חסימה נכונה של פרמטרים היא אחד הכלים היעילים ביותר.

2. איפה נמצא קובץ robots.txt

2.1 תמיד בתיקייה הראשית

הקובץ חייב לשבת בכתובת הראשית של האתר, למשל www.example.co.il/robots.txt. קובץ שנמצא בתיקייה פנימית לא נקרא בכלל. השם חייב להיות באותיות קטנות, והקובץ צריך להיות טקסט פשוט בקידוד UTF-8.

2.2 כל תת דומיין והגדרה בנפרד

הכללים חלים רק על הדומיין, הפרוטוקול והפורט שבהם הקובץ נמצא. אם יש לכם תת דומיין לחנות או לבלוג, למשל shop.example.co.il, הוא צריך קובץ משלו. זה חשוב במיוחד כשיש אתר בבנייה על תת דומיין, שאותו רוצים לחסום בלי לפגוע באתר הראשי.

2.3 איך רואים את הקובץ

פשוט מקלידים את הכתובת בדפדפן. כך נראה הקובץ שלנו, שנוצר בעזרת Yoast SEO:

User-agent: *
Allow: /
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /page/*/?s=
Disallow: /search/

Sitemap: https://www.ymdigital.co.il/sitemap_index.xml

בקובץ חוסמים את אזור הניהול, מאפשרים את הקובץ admin-ajax.php שתוספים רבים צריכים, חוסמים את תוצאות החיפוש הפנימי, ומפנים למפת האתר. השורה Allow: / לא חובה, כי כל מה שלא נחסם מותר ממילא.

2.4 מגבלות טכניות שכדאי להכיר

• גודל: גוגל קורא עד 500KB מהקובץ. כל מה שמעבר לזה פשוט לא נחשב.
• קוד תגובה 404: אם הקובץ לא קיים, גוגל מתייחס לאתר כאילו אין שום הגבלה.
• שגיאת שרת 5xx: גוגל עוצר את הסריקה, משתמש בעותק האחרון ששמר עד 30 יום, ומנסה שוב. תקלה ממושכת בקובץ הזה עלולה לעצור סריקה של כל האתר.
• הפניות: גוגל עוקב אחרי עד חמש הפניות רצופות לפני שהוא מוותר על הקובץ.

3. הפקודות בקובץ robots.txt

3.1 User-agent

השורה הזו פותחת קבוצת כללים ומגדירה לאיזה בוט הם מיועדים. כוכבית פירושה כל הבוטים. אפשר גם לציין בוט מסוים, כמו Googlebot, Googlebot-Image או Bingbot. שם הבוט לא רגיש לאותיות גדולות וקטנות.

3.2 Disallow ו-Allow

Disallow חוסם נתיב, ו-Allow פותח נתיב. הנתיב מתחיל תמיד בלוכסן, והוא רגיש לאותיות גדולות וקטנות: /Blog/ ו-/blog/ הם שני נתיבים שונים. Disallow ריק, בלי נתיב, פירושו שאין חסימה בכלל.

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

בדוגמה הזו שני הכללים מתייחסים לאותה תיקייה. גוגל בוחר את הכלל הספציפי יותר, כלומר זה עם הנתיב הארוך יותר, ולכן admin-ajax.php נשאר פתוח למרות שכל התיקייה חסומה. אם שני כללים באורך זהה סותרים זה את זה, גוגל בוחר את הכלל המתירני יותר.

3.3 תווים מיוחדים: כוכבית ודולר

כוכבית מייצגת כל רצף תווים, ודולר מסמן את סוף הכתובת. בעזרתם אפשר לחסום סוגי קבצים או פרמטרים:

Disallow: /*.pdf$
Disallow: /*?replytocom=
Disallow: /tag/

השורה הראשונה חוסמת כל כתובת שמסתיימת ב-.pdf. השנייה חוסמת את הכתובות הכפולות שוורדפרס יוצר לתגובות. השלישית חוסמת את עמודי התגיות, וכדאי להשתמש בה רק אם באמת החלטתם שהעמודים האלה לא צריכים להיסרק.

3.4 Sitemap

שורה שמפנה לכתובת המלאה של מפת האתר. היא לא שייכת לקבוצה מסוימת, ואפשר לכתוב כמה שורות כאלה. גוגל מוצא את מפת האתר גם דרך Search Console, אבל השורה עוזרת למנועי חיפוש אחרים.

3.5 פקודות שגוגל מתעלם מהן

Crawl-delay, שאמורה להאט את קצב הסריקה, לא נתמכת בגוגל. בינג כן מתחשב בה. גם noindex בתוך הקובץ לא עובד, וגוגל הפסיק לתמוך בו כבר לפני כמה שנים. אם ראיתם את הפקודות האלה בקובץ ישן, הן לא עושות כלום מבחינת גוגל.

3.6 קבוצות: הפרט שרבים מפספסים

כל בוט פועל לפי קבוצה אחת בלבד, הקבוצה הספציפית ביותר שמתאימה לשם שלו. בדוגמה הבאה Googlebot יקרא רק את הקבוצה שלו, ולכן אזור הניהול ותוצאות החיפוש לא ייחסמו עבורו:

User-agent: *
Disallow: /wp-admin/
Disallow: /?s=

User-agent: Googlebot
Disallow: /private/

כדי לתקן, מעתיקים לקבוצה של Googlebot גם את הכללים הכלליים. זו טעות שקל לעשות כשמוסיפים קבוצה לבוט מסוים בלי לחשוב על השאר.

4. איך כותבים קובץ robots.txt מאפס

4.1 ממפים מה לא צריך להיסרק

לפני שכותבים שורה אחת, עוברים על האתר ומחפשים כתובות שאין להן ערך בחיפוש: תוצאות חיפוש פנימי, עמודי עגלה ותשלום, כתובות עם פרמטרים של מיון וסינון, ואזורי מערכת. דרך טובה למצוא אותן היא דוח הדפים ב-Search Console, שבו רואים אילו כתובות גוגל מצא ולא הכניס לאינדקס. אם רוב הכתובות שם הן וריאציות של אותו עמוד, מצאתם את מה שצריך לחסום.

4.2 כותבים את הכללים

פותחים עורך טקסט פשוט, כמו פנקס רשימות, ולא מעבד תמלילים שמוסיף עיצוב. מתחילים בשורת User-agent, ומתחתיה שורת Disallow לכל נתיב. שורה ריקה מפרידה בין קבוצות. אפשר להוסיף הערות עם סולמית בתחילת השורה, כדי שמי שיפתח את הקובץ בעוד שנה יבין למה כל כלל נמצא שם. בסוף מוסיפים את שורת ה-Sitemap.

4.3 שומרים ומעלים

שומרים את הקובץ בשם robots.txt בדיוק, בקידוד UTF-8, ומעלים לתיקייה הראשית של האתר. בוורדפרס אפשר לדלג על השלב הזה ולערוך את הקובץ דרך תוסף ה-SEO, כפי שנראה בפרק 7. אחרי ההעלאה פותחים את הכתובת בדפדפן ומוודאים שמופיע בדיוק מה שכתבתם.

4.4 בודקים לפני שסומכים

לפני שממשיכים הלאה, בודקים כמה כתובות חשובות, כמו עמוד הבית, עמוד שירות ומוצר, ומוודאים שהן לא נחסמו בטעות. כלל עם כוכבית במקום הלא נכון יכול לחסום הרבה יותר ממה שהתכוונתם. בפרק 8 נראה איך עושים את זה ב-Search Console.

5. דוגמאות מוכנות לקובץ robots.txt

בכל הדוגמאות החליפו את example.co.il בכתובת האתר שלכם, ובדקו שכתובת מפת האתר נכונה.

5.1 אתר תדמית בוורדפרס

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /search/

Sitemap: https://www.example.co.il/sitemap_index.xml

לרוב האתרים זה כל מה שצריך. לא חוסמים את wp-content ולא את wp-includes, כי שם נמצאים קבצי העיצוב והסקריפטים שגוגל צריך כדי להבין איך העמוד נראה.

5.2 חנות ווקומרס

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /*?*add-to-cart=
Disallow: /*?*orderby=
Disallow: /*?*filter_
Disallow: /*?*min_price=

Sitemap: https://www.example.co.il/sitemap_index.xml

כאן חוסמים את העגלה, התשלום והחשבון האישי, שאין להם ערך בחיפוש, ובעיקר את הכתובות שנוצרות מפרמטרים של מיון, סינון והוספה לעגלה. בחנות עם הרבה מוצרים ומסננים, כתובות כאלה יכולות להגיע לאלפים. שימו לב לשני דברים. הראשון: אם העמודים שלכם בעברית, כמו /עגלה/, צריך לכתוב את הכתובת האמיתית שלהם. השני: בדקו שהפרמטרים תואמים לתוספי הסינון שלכם. עוד על קידום חנויות כתבנו במדריך איך מקדמים חנות וירטואלית.

5.3 אתר בבנייה

User-agent: *
Disallow: /

השורה הזו חוסמת את כל האתר. היא מתאימה לאתר בפיתוח על תת דומיין, ורק שם. ברגע שהאתר עולה לאוויר חייבים למחוק אותה. בוורדפרס עדיף להשתמש באפשרות "למנוע ממנועי חיפוש לאנדקס את האתר" בהגדרות קריאה. בגרסאות החדשות של וורדפרס היא מוסיפה לעמודים תגית noindex, וזה הכלי הנכון למטרה הזו. הכי בטוח לשלב גם סיסמה על אתר הפיתוח.

5.4 חסימת בוטים של בינה מלאכותית

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://www.example.co.il/sitemap_index.xml

GPTBot של OpenAI ו-CCBot של Common Crawl אוספים תוכן שיכול לשמש לאימון מודלים. Google-Extended הוא לא בוט נפרד, אלא סימון שמאפשר לגוגל לדעת שאתם לא מעוניינים שהתוכן ישמש לאימון Gemini ולשירותים דומים. לפי גוגל, החסימה שלו לא משפיעה על ההופעה בחיפוש ולא על הדירוג.

לפני שחוסמים, כדאי לשקול. עסק שרוצה להופיע בתשובות של כלי AI לא ירצה לחסום את OAI-SearchBot, שאחראי על ההופעה בחיפוש של ChatGPT, ולכן לא כללנו אותו בדוגמה. עוד חשוב לדעת ש-OpenAI מציינת שהבוט ChatGPT-User, שנכנס לעמוד כשמשתמש מבקש זאת, לא תמיד כפוף לכללים של הקובץ. אם הנושא מעניין אתכם, הרחבנו עליו במדריך קידום אורגני ב-ChatGPT.

5.5 מניעת הופעה של קבצים בגוגל

User-agent: Googlebot-Image
Disallow: /wp-content/uploads/private-gallery/

User-agent: *
Disallow: /*.pdf$
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

הקבוצה הראשונה מונעת מגוגל להציג בחיפוש התמונות את התמונות שבתיקייה מסוימת, למשל גלריה של פרויקטים ללקוחות. הקבוצה השנייה חוסמת קבצי PDF, כמו מחירונים או טפסים, שלא רוצים שיופיעו כתוצאה עצמאית. שימו לב שבגלל כלל הקבוצות, Googlebot-Image פועל רק לפי הקבוצה שלו, ולכן קבצי ה-PDF לא נחסמים עבורו. זה בסדר, כי הוא סורק תמונות בלבד. אם הקבצים באמת פרטיים, חסימה בקובץ לא מספיקה, וצריך להגן עליהם בסיסמה.

6. robots.txt לעומת noindex

שני הכלים נשמעים דומים, אבל עושים דברים שונים לגמרי:

6.1 הטעות של שילוב שניהם

אם תוסיפו noindex לעמוד וגם תחסמו אותו ב-robots.txt, גוגל לא ייכנס לעמוד, ולכן גם לא יראה את התגית. העמוד עלול להישאר באינדקס. הדרך הנכונה: להשאיר את העמוד פתוח לסריקה עם noindex, לחכות שייצא מהתוצאות, ורק אחר כך לשקול חסימה.

6.2 ומה עם כתובות כפולות

לתוכן כפול שיש בו ערך, כמו אותו מוצר בשני צבעים, לרוב עדיף להשתמש בתגית קנוניקל ולא בחסימה. הרחבנו על זה במדריך מה זה קנוניקל.

7. איך עורכים את robots.txt בוורדפרס

7.1 הקובץ הווירטואלי של וורדפרס

אם אין קובץ פיזי בשרת, וורדפרס יוצר קובץ וירטואלי שחוסם את אזור הניהול ופותח את admin-ajax.php. תוספי SEO מוסיפים לו שורות, למשל את מפת האתר. הקובץ הזה לא נמצא בתיקייה, ולכן לא תמצאו אותו בניהול הקבצים.

7.2 עריכה דרך Yoast SEO

ב-Yoast נכנסים אל כלים ואז לעורך הקבצים. שם אפשר ליצור קובץ robots.txt ולערוך אותו ישירות מהניהול. בתוסף Rank Math העריכה נמצאת בהגדרות הכלליות. אם האפשרות לא מופיעה, ייתכן שהרשאות הקבצים או הגדרות האתר חוסמות עריכה.

7.3 קובץ פיזי בשרת

אפשר גם ליצור קובץ בשם robots.txt בעורך טקסט ולהעלות אותו לתיקייה הראשית דרך מנהל הקבצים או FTP. ברגע שיש קובץ פיזי, השרת מציג אותו ולא את הקובץ הווירטואלי. לכן אם שיניתם הגדרות בתוסף ולא ראיתם שינוי, בדקו אם יש קובץ ישן בשרת.

7.4 גיבוי לפני כל שינוי

לפני עריכה שומרים עותק של הקובץ הקיים. שורה אחת שגויה יכולה לחסום את כל האתר, ועם עותק שמור החזרה למצב הקודם לוקחת דקה. זה חלק משגרה שכדאי לאמץ, כמו שהסברנו במדריך תחזוקת אתרי וורדפרס.

8. איך בודקים את קובץ robots.txt

8.1 דוח robots.txt ב-Search Console

הכלי הישן לבדיקת הקובץ הוסר, ובמקומו גוגל הוסיף דוח ב-Search Console, תחת ההגדרות. הדוח מציג את קבצי robots.txt שגוגל מצא באתר, מתי נבדקו לאחרונה, האם נשלפו בהצלחה, ואילו שגיאות או אזהרות נמצאו בהם. אחרי תיקון חשוב אפשר לבקש שם סריקה מחדש של הקובץ.

8.2 בדיקת כתובת

כדי לבדוק עמוד מסוים, מדביקים את הכתובת שלו בכלי בדיקת כתובת ב-Search Console. אם העמוד חסום, יופיע שם שהסריקה אינה מותרת בגלל robots.txt. כדאי לבדוק כך כמה עמודים חשובים אחרי כל שינוי בקובץ.

8.3 דוח ההוספה לאינדקס

בדוח הדפים יש סטטוסים כמו "חסום על ידי robots.txt" ו"נוסף לאינדקס למרות שנחסם על ידי robots.txt". הסטטוס השני הוא סימן ברור שניסיתם להוציא עמוד מגוגל בכלי הלא נכון. אם האתר לא מופיע בכלל, התחילו מהמדריך האתר שלי לא מופיע בגוגל.

8.4 מעקב אחרי השינוי

אחרי שינוי משמעותי, כמו חסימה של פרמטרים בחנות, כדאי לעקוב כמה שבועות אחרי דוח נתוני הסריקה ב-Search Console. שם רואים כמה בקשות גוגל שולח לאתר ולאילו סוגי כתובות. אם החסימה עבדה, החלק של הכתובות המיותרות אמור לרדת, ועמודים חדשים אמורים להיכנס לאינדקס מהר יותר. אם פתאום יש ירידה בכמות העמודים שנוספו לאינדקס, זה הזמן לבדוק שלא נחסם משהו חשוב.

9. טעויות נפוצות בקובץ robots.txt

• Disallow: / שנשאר אחרי ההשקה: האתר עולה לאוויר, והקובץ מתקופת הבנייה ממשיך לחסום הכול.
• חסימת קבצי CSS ו-JavaScript: גוגל לא יכול לראות איך העמוד נראה, וזה עלול לפגוע בהבנה שלו את העמוד.
• חסימת wp-content או wp-includes: המלצה ישנה שעדיין מופיעה ברשת, וחוסמת תמונות ועיצוב.
• ניסיון להוציא עמוד מגוגל עם Disallow: העמוד נשאר באינדקס בלי תיאור. משתמשים ב-noindex.
• אותיות גדולות וקטנות: /Wp-Admin/ לא חוסם את /wp-admin/.
• קבוצה נפרדת לבוט בלי הכללים הכלליים: הבוט מתעלם מהקבוצה של הכוכבית.
• נתיבים רגישים בקובץ: הקובץ פומבי, ומי שמחפש פרצות קורא אותו. הגנה אמיתית מתחילה בהגנה על קבצי הליבה בוורדפרס.
• קובץ פיזי ישן שדורס את הגדרות התוסף: משנים בתוסף, ושום דבר לא קורה.

עוד טעויות טכניות שחוזרות באתרי וורדפרס ריכזנו במדריך טעויות SEO נפוצות בוורדפרס.

סיכום

קובץ robots.txt טוב הוא בדרך כלל קצר. הסדר שאנחנו ממליצים עליו: לבדוק שהקובץ קיים ומחזיר תשובה תקינה, לוודא שאין חסימה של כל האתר ושל קבצי עיצוב, לחסום רק אזורים בלי ערך לחיפוש, להוסיף הפניה למפת האתר, ולבדוק את התוצאה בדוח robots.txt ב-Search Console. כדי להוציא עמודים מגוגל משתמשים ב-noindex, ולא בקובץ.

הקובץ הוא רק חלק אחד מהתמונה הטכנית של האתר. אם אתם רוצים שמישהו יבדוק את כל התמונה, אנחנו מציעים שירות קידום אתרים אורגני שמתחיל בבדיקה טכנית מלאה, ונשמח לשמוע על האתר שלכם.

שאלות נפוצות על robots.txt

האם חובה שיהיה לאתר קובץ robots.txt?

לא. אם אין קובץ, גוגל פשוט סורק את כל מה שהוא מוצא. באתר וורדפרס זה כמעט לא רלוונטי, כי וורדפרס יוצר קובץ וירטואלי כברירת מחדל. ובכל זאת כדאי לוודא שהקובץ קיים, שהוא מחזיר קוד 200, ושיש בו הפניה למפת האתר. זו עבודה של חמש דקות שחוסכת בלבול בהמשך.

תוך כמה זמן גוגל רואה שינוי בקובץ robots.txt?

גוגל שומר עותק של הקובץ בדרך כלל עד 24 שעות, ולכן שינוי נקלט בדרך כלל תוך יום. אם תיקנתם חסימה שפגעה בעמודים חשובים, אפשר לבקש סריקה מחדש של הקובץ בדוח robots.txt ב-Search Console. חזרת העמודים עצמם לתוצאות החיפוש יכולה לקחת עוד כמה ימים עד שבועות.

האם robots.txt מגן על האתר מפני האקרים?

לא. הקובץ פתוח לכל אחד, ורק בוטים הגונים מכבדים אותו. בוט זדוני יכול להתעלם ממנו, ואפילו להשתמש בו כדי לגלות אילו תיקיות ניסיתם להסתיר. לכן לא כותבים בו נתיבים רגישים. הגנה אמיתית מקבלים מסיסמה, מהרשאות קבצים נכונות, מעדכונים שוטפים ומחומת אש ברמת השרת.

האם חסימת GPTBot תעלים את האתר מ-ChatGPT?

לא בהכרח. GPTBot אוסף תוכן לאימון מודלים, ואילו OAI-SearchBot הוא הבוט שמאפשר לאתר להופיע בחיפוש של ChatGPT. אפשר לחסום את הראשון ולאפשר את השני, וכך התוכן לא ישמש לאימון אבל האתר עדיין יוכל להופיע כמקור. חשוב לדעת שגם כשהאתר פתוח לגמרי, OpenAI לא מתחייבת שהוא יופיע בתשובות.

מה ההבדל בין robots.txt לתגית meta robots?

robots.txt קובע אם בוט רשאי לסרוק כתובת, ותגית meta robots קובעת אם עמוד שנסרק ייכנס לאינדקס. הקובץ חל על כל האתר, והתגית נכתבת בכל עמוד בנפרד. כדי להוציא עמוד מגוגל משתמשים ב-noindex ומשאירים את העמוד פתוח לסריקה, אחרת גוגל לא יראה את התגית בכלל והעמוד עלול להישאר באינדקס.

האם אפשר לכתוב כתובות בעברית בקובץ?

כן, אבל ההמלצה שלנו היא לכתוב אותן בצורה המקודדת, עם סימני האחוז, כפי שהן מופיעות כשמעתיקים את הכתובת מהדפדפן לעורך טקסט. בצורה הזו כל הבוטים יבינו את הכלל בדיוק, גם אלה שמטפלים פחות טוב בתווים שאינם באנגלית. זכרו שהנתיב רגיש לאותיות גדולות וקטנות.