TL;DR: Crawl budget הוא מספר הדפים שגוגל מבקרת באתר שלך בפרק זמן. לאתרים גדולים, זה יכול להיות bottleneck. דפים לא מעודכנים, indexing איטי. Optimization: טיפול ב-duplicates, החשיב של crawls, improve speed.
מה זה Crawl Budget
גוגל Bot לא מבקרת באתר שלך infinitely. יש לה quota. לרוב אתרים (<500 דפים). לא בעיה. לאתרים גדולים. כן.
Quota מחושב לפי:
- Crawl rate. עד כמה האתר מהיר לסקירה.
- Crawl demand. עד כמה האתר חשוב/פופולרי.
מי צריך לחשוב על זה
- ecommerce עם 10,000+ products.
- News sites with עשרות מאמרים ביום.
- Directory sites עם listings רבים.
- Large enterprise sites.
עסק קטן עם 50 דפים. לא רלוונטי.
איך למדוד
Search Console → Settings → Crawl stats. מראה:
- Total crawl requests per day.
- Average response time.
- Types of files crawled.
- Issues.
אופטימיזציה. 7 צעדים
1. סילוק duplicates
URL parameters, print versions, sort options. גוגל מבקרת בכל אחד. Canonical tags ו-robots.txt.
2. Robots.txt ל-blocking
חסום דפים שאין צורך לאנדקס:
- Admin areas.
- Search results pages.
- Cart/checkout (אם לא business-critical).
- Staging sites.
3. Internal linking חכם
דפים חשובים. linked from many places. דפים פחות חשובים. fewer links. Googlebot עוקב links.
4. Speed
אתר מהיר = גוגל יכולה לסקור יותר דפים בזמן נתון. Crawl rate עולה.
5. Sitemap מדויק
רק דפים חשובים ב-sitemap. לא כל URL.
6. Remove dead pages
404s, 410s, redirects, redirect chains. כל אחד בזבוז של budget.
7. Fresh content
עדכונים regularly. מראה לגוגל שהאתר פעיל. Crawl demand עולה.
Signals ל-bigger crawl budget
- High authority (backlinks).
- Frequent updates.
- Fast server.
- Clean architecture.
- High CTR in SERP.
טעויות נפוצות
- Robots.txt חוסם JS/CSS. גוגל לא יכול לרנדר.
- Too many URL parameters.
- Redirect chains (A → B → C → D).
- Orphan pages (no internal links).
רוצה עזרה ממוקדת ל-SEO באתר שלך?
אני שמוליק דורינבאום — יועץ SEO ב-20+ שנות ניסיון. אם המאמר הזה נתן לך כיוון ואתה רוצה ליישם על האתר שלך, יש לי קורס קידום אתרים חינמי מלא, או שאפשר לקפוץ לשיחת ייעוץ אישית.