采集规则编写 - 短横线区分抓取索引和排名
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /1118b3c424a6.html
📄
采集规则编写 - 短横线区分抓取索引和排名
采集规则编写本身解决的是“把页面内容按规则提取出来”，它不直接等于搜索引擎的抓取、索引或排名。区分这三者的关键是看证据落在哪一层：服务器日志和抓取工具记录说明抓取，站点索引状态和搜索结果显示说明索引，某查询下的排序位置说明排名。采集规则写得好，只能让内容被稳定提取，不能保证被收录，更不能保证排序。
先看证据落在哪一层
遇到“页面没流量”这类具体问题时，不要直接改采集规则。先判断问题出在抓取、索引还是排名，因为三者的修复代价完全不同。
- 抓取层证据：服务器访问日志里是否有目标搜索引擎的抓取记录；抓取频次、状态码、被抓 URL 是否符合预期。若日志里几乎没有记录，问题在抓取，采集规则再改也无用。
- 索引层证据：用站点自身可核对的索引查询方式，检查目标 URL 是否出现在结果中。若 URL 未被索引，问题在索引，需要看是否被 robots 规则拦截、是否返回了非 200 状态、内容是否被判定为重复或低质。
- 排名层证据：只有当 URL 已被索引，才谈得上某个查询下的排序位置。若已索引但无排名，问题在内容相关性、竞争度或页面质量，而不是抓取。
判断顺序应为：先确认抓取，再确认索引，最后才看排名。跳过前两步直接优化排序，往往是在错误的环节花代价。
采集规则编写与三层的实际关系
采集规则编写决定的是“从页面中提取哪些字段、如何拼接、如何入库”。它影响的是内容是否完整、结构是否一致，属于内容生产环节。
它与抓取的关系：规则写得好，不会让搜索引擎多抓一次；规则写得差，也不会直接导致搜索引擎不抓。抓取由站点可访问性、链接结构和 robots 规则决定。
它与索引的关系：如果规则提取出的内容大量重复、字段缺失或正文为空，页面可能被判为低质而不被索引。但这是内容质量问题，不是规则语法问题。
它与排名的关系：规则提取的内容若与用户查询意图匹配，可能对排名有帮助；但排名还受外链、站点权重、竞争页面等因素影响，规则本身不构成排名保证。
可执行的排查步骤
假设你发现某批采集页面没有自然流量，按以下步骤定位：
- 取 5–10 个目标 URL，检查服务器日志中是否有搜索引擎抓取记录。有记录进入第 2 步；无记录则先查 robots 规则、页面状态码和内部链接。
- 对同一批 URL 做索引状态核对。若未被索引，检查是否被 noindex、是否返回 404/500、正文是否为空或与站内其他页面高度重复。
- 若已被索引，选取一个明确查询，记录该 URL 在结果中的位置。无排名则对比同查询下已排名页面的内容结构和意图匹配度。
- 只有确认抓取和索引都正常后，才回头检查采集规则提取的字段是否完整、标题与正文是否对得上查询意图。
这套步骤的代价是：抓取层排查最快，通常几分钟内可从日志判断；索引层排查需要等待搜索引擎重新处理，周期以天计；排名层排查需要对比多个查询和竞争页面，耗时最长。因此顺序不能颠倒。
一个假设例子
假设某站点用采集规则生成了 200 个产品页，规则提取了价格和参数，但正文只有一句话。一个月后这些页面没有流量。
排查结果可能是：日志显示搜索引擎抓取了其中 30 个页面，说明抓取正常；索引查询显示只有 5 个被收录，说明大量页面卡在索引层；进一步检查发现正文过短且多个页面参数组合高度相似，被判为低质重复。此时要改的是内容补充和页面差异化，而不是采集规则的字段映射。若日志显示一个都没被抓取，则要先检查这些页面是否有入口链接、是否被 robots 拦截，采集规则此时不是主要矛盾。
判断结果与下一步
判断标准很简单：日志有抓取记录，说明抓取层通过；索引查询有结果，说明索引层通过；只有前两项都通过，排名数据才有分析意义。任何一层未通过，就先修那一层，不要跳到采集规则上找原因。
下一步：取你当前最关心的 5 个采集页面，逐一记录抓取记录、索引状态和至少一个查询下的位置，用这三列数据判断问题实际卡在哪一层，再决定是否调整采集规则。
