crawl budget 是什么？小网站要在意吗
crawl budget（抓取预算）是 Googlebot 分配给你网站的抓取资源总量，由「抓取容量上限」（你的服务器撑得住多少）与「抓取需求」（Google 觉得你的内容多值得抓）两者共同决定。 Google 官方明讲：几千页以下、内容当天就被收录的网站，多数时候不需要担心 crawl budget——但「低价值页面浪费抓取资源」的逻辑，对任何规模的站都成立。
两个变量怎么运作？
Google Search Central 的官方文档把 crawl budget 拆成两块：
- 抓取容量上限（crawl capacity limit）：Googlebot 不想抓垮你的服务器。响应快、错误少 → 上限提高；大量 5xx 错误或响应变慢 → Googlebot 自动退避、抓得更少。
- 抓取需求（crawl demand）：Google 对你内容的兴趣。页面越热门（外链、点击）、更新越频繁、整站质量越高 → 需求越高。反之，一堆没人看的重复页会拉低需求。
两者取交集就是你实际的抓取预算。重点：预算不是固定配给，而是 Google 对你网站的实时评价——它会随你的质量与服务器表现上下浮动。
Google 官方的适用门槛
依官方文档，真正需要管理 crawl budget 的是：
- 大型网站（100 万页以上）且内容每周更新；
- 中型网站（1 万页以上）且内容每天大量变动；
- 或 GSC 显示**大量「Discovered - currently not indexed」**的网站——这代表 Google 知道页面存在但不愿意花资源抓。
几百页的博客不在名单上。但注意最后一条：小站也可能因为质量问题出现抓不动的症状，这时问题不是预算太少，而是需求太低。
小网站真正该在意的：别浪费 Google 给的额度
小站的抓取额度绰绰有余，前提是别自己糟蹋。常见的浪费源：
| 浪费源 | 例子 | 修法 |
|---|---|---|
| 内容负债 | 90 天 0 点击的空壳页占掉抓取轮次 | 合并／移除／补料，即「内容负债」问题 |
| 无限 URL 空间 | 筛选参数、日历页、站内搜索结果页被抓 | robots.txt 挡掉参数路径 |
| 重复内容 | 同页多网址（参数、大小写、尾斜线） | canonical + 统一内部链接 |
| 转址链 | A→B→C 连环 301 | 全部改成一步直达 |
| 软 404 | 空页面回 200 | 真的没内容就回 404/410 |
怎么观察自己的抓取状况？GSC 两个地方
- 设置 → 抓取统计信息（Crawl stats）：看每日抓取请求数、平均响应时间、依响应与文件类型的分布。健康的站：响应时间稳定（建议 < 600ms）、5xx 比例趋近 0、抓取量没有无故暴跌。
- 索引 → 网页：「Discovered - currently not indexed」数量持续增加，是抓取需求不足最直接的警讯；「Crawled - currently not indexed」多，则是抓了但质量不过关。两个状态都值得仔细判读，追回背后的内容问题。
提升抓取效率的五件事（依 CP 值排序）
- 清内容负债：让站上大部分页面都是有人要的页面——直接拉高抓取需求。
- 内部链接灌对地方：重要页面从高权重页可达，三次点击内到得了。
- sitemap 只放要收录的 URL：sitemap 是「你希望 Google 抓什么」的宣言，别把 noindex 页、转址页塞进去；
lastmod要诚实。 - 服务器响应快：这同时是 CWV 与抓取容量的地基。
- 正确使用 robots.txt：挡掉参数陷阱与无限空间。注意 robots.txt 是「不要抓」不是「不要收录」——要移出索引用 noindex 或删页。
2026 加映：AI 爬虫也在花你的带宽
GPTBot（OpenAI）、PerplexityBot、Google-Extended 等 AI 爬虫的流量近年显著成长。它们不影响 Google 的 crawl budget（各家独立），但共享你的服务器资源。想被 AI 引用就别挡它们；服务器吃紧时，优先用缓存与 CDN 解决，而不是封锁。完整做法见〈管理 AI 爬虫〉。
常见问题（FAQ）
Q1：我的博客只有 200 页，可以完全忽略 crawl budget 吗？ 机制层面可以——你的额度用不完。但「别让低质量页稀释整站评价」这件事和规模无关；200 页里有 120 页是空壳，伤的是质量评估，症状一样是收录变慢。
Q2：怎么让新文章更快被收录？ 发布后从首页或高流量旧文加内部链接、把 URL 加进 sitemap 并更新 lastmod、用 GSC 网址检查工具的「请求编入索引」。三件一起做，多数健康网站 24–72 小时内收录。
Q3：抓取频率突然暴跌是怎么回事？ 先查服务器：是不是出现大量 5xx、响应时间飙高、或防火墙/CDN 误挡 Googlebot。技术正常的话，再看是否近期大量新增低质量页面拉低了抓取需求。
Q4：crawl budget 和排名有直接关系吗？ 没有直接关系——抓得多不等于排得好。它影响的是「内容多快被发现与更新」；排名还是看内容质量与相关性。
GeoSeoToday处理抓取问题的顺序永远是：先清内容负债、再修内部链接、最后才调技术参数——因为需求端的问题占了八成。想知道你的内容够不够格让 Google 与 AI 愿意花资源，可用 GEO 就绪度检测器 自查，或从〈什么是 GEO〉看整套方法。