אתם בטח מכירים את התסכול. אתם מעלים מאמר, ועוברים ימים, שבועות, חודש. הוא לא מופיע בגוגל. למה? כנראה Googlebot לא הצליח לסרוק אותו. זה נקרא Crawl Error.
סוגי Crawl Errors
1. Server errors (5xx)
השרת שלכם החזיר שגיאה. 500, 502, 503. זה אומר שהשרת לא היה זמין או נכשל בעיבוד הבקשה.
2. Not Found (404)
הדף לא קיים. ייתכן שמחקתם אותו אבל URL עדיין מקושר.
3. Soft 404
הדף מחזיר קוד 200 אבל התוכן ריק או מציג שגיאה. גוגל מזהה ומתייחס כ-404.
4. Redirect errors
שרשרת redirects ארוכה מדי, או redirect loop.
5. Robots.txt blocked
הדף נחסם ב-robots.txt בטעות.
6. Crawl anomaly
גוגל לא הצליח לסרוק מסיבה לא ברורה. לפעמים timeout, לפעמים בעיות אחרות.
איך לזהות
הכלי המרכזי הוא Google Search Console. בטאב Coverage (או Pages):
- Errors, דפים עם בעיות.
- Excluded, דפים לא ב-index.
- Valid, דפים בסדר.
תיכנסו ל-Errors, תראו בדיוק איזה שגיאות יש לכם.
איך לפתור
1. Server errors
תפנו ל-hosting שלכם. ייתכן שהשרת עמוס. שדרוג של hosting או optimization.
2. 404
אם הדף נמחק בכוונה, וודאו שאין קישורים פנימיים אליו.
אם הוא הועבר, תוסיפו 301 redirect ל-URL החדש.
3. Soft 404
תקנו את התוכן. אם הדף ריק, תוסיפו תוכן או תמחקו עם 410.
4. Redirect errors
תפשטו את ה-redirects. A → B ישיר, לא A → B → C → D.
5. Robots.txt
תבדקו את ה-robots.txt שלכם. תוודאו שאתם לא חוסמים דפים חשובים.
איך למנוע
1. Sitemap מעודכן
תוודאו ש-sitemap.xml מעודכן עם רק דפים תקינים.
2. Internal links תקינים
אל תקשרו לדפים שלא קיימים.
3. Server יציב
hosting איכותי. אם השרת נופל, גם ה-SEO נופל.
4. Monitoring
תבדקו את ה-Coverage report בכל שבוע. תפסו בעיות לפני שהן מתפזרות.
הקטע עם crawl budget
לאתרים גדולים (10,000+ דפים), יש מגבלת crawl budget. גוגל לא יסרוק את כל הדפים שלכם כל יום. תוודאו שהבוט סורק קודם את החשובים.
סיכום
Crawl errors הם פתירים, אם זוכרים לבדוק אותם. תקדישו 30 דקות בשבוע ל-Coverage report ב-GSC. תמנעו בעיות לפני שיהפכו לקטסטרופה.
רוצה עזרה ממוקדת ל-SEO באתר שלך?
אני שמוליק דורינבאום — יועץ SEO ב-20+ שנות ניסיון. אם המאמר הזה נתן לך כיוון ואתה רוצה ליישם על האתר שלך, יש לי קורס קידום אתרים חינמי מלא, או שאפשר לקפוץ לשיחת ייעוץ אישית.