什么是抓取预算？
抓取预算是指给定时间范围内 Googlebot 在网站上抓取并建立索引的页面数量。
为什么抓取预算对 SEO 很重要？
简而言之，如果 Google 不索引某个页面，它就不会排名任何内容，这可能会损害您的 SEO 性能。
因此，如果您的网页数量超出了网站的抓取预算，您网站上的某些网页将不会被编入索引。
也就是说，绝大多数网站不需要担心抓取预算。谷歌和其他搜索引擎非常擅长查找和索引页面。
也就是说，在某些情况下您确实需要注意抓取预算：
- 您运行一个较大的网站：如果您的网站（例如电子商务网站）包含超过 10k 个页面，Google 可能很难找到所有页面。
- 您刚刚添加了一堆页面：如果您最近向网站添加了一个包含数百个页面的新部分，您需要确保有足够的爬网预算来快速将它们全部编入索引。
- 大量重定向：大量不必要的重定向和重定向链耗尽了您的抓取预算。
因此，这里有一些简单的方法可以最大限度地提高网站的抓取预算。
最佳实践
提高网站速度
提高网站的页面速度可能会导致 Googlebot 和其他搜索引擎机器人抓取您网站的更多网址。
事实上，谷歌指出：
“使网站速度更快可以改善用户体验，同时也提高抓取速度。”
换句话说：
缓慢的页面加载消耗了 Googlebot 的宝贵时间。
但如果您的页面加载速度很快，Googlebot就有时间访问您的更多页面并为其建立索引。
使用内部链接
Googlebot 会优先考虑有大量外部和内部链接指向的页面。
是的，理想情况下您会获得指向您网站上每个页面的反向链接。但在大多数情况下，这不是一个现实的内部链接结构。通过消除任何损坏的链接来保持页面优化。对于内部链接，损坏的链接指向尚未重定向/删除的已删除或移动的页面。
作为最佳 SEO 实践，您需要查找并修复损坏的链接。
这不应掩盖内部链接如此重要的事实。
您的内部链接会将 Googlebot 发送到您网站上您想要编入索引的所有不同页面。
扁平化网站架构
据谷歌称：
“互联网上更受欢迎的 URL 往往会被更频繁地抓取，以使其在我们的索引中保持新鲜。”
而在谷歌的世界里，流行=链接权威。
这就是您想要在网站上使用扁平网站架构的原因。
扁平架构设置了一些东西，以便您网站的所有页面都有一些链接权限流向它们。
避免“孤立页面”
孤立页面是没有内部或外部链接指向的页面。
谷歌很难找到孤立页面。因此，如果您想充分利用抓取预算，请确保至少有一个内部或外部链接指向您网站上的每一页。
限制重复内容
出于多种原因，限制重复内容是明智之举。
事实证明，重复的内容会损害您的抓取预算。
这是因为 Google 不想通过为具有相同内容的多个页面建立索引来浪费资源。
因此，请确保您网站的页面 100% 由独特、高质量的内容组成。
对于一个拥有超过 10k 页面的网站来说，这并不容易。但如果您想从抓取预算中获得最大收益，这是必须的。
