域名历史分析：批量页面只有一部分被发现时怎样划分对照组
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /f83081fd19b0.html
📄
域名历史分析：批量页面只有一部分被发现时怎样划分对照组
当同一批 URL 里只有一部分被搜索引擎发现，直接拿“已发现”和“未发现”两组做对比，往往会把结论带偏：这两组在抓取路径、内链位置、内容类型上可能从一开始就不同。更稳的做法是先固定可观测变量，再按“同源可比”原则划分对照组，而不是简单按发现状态二分。
先分清“未被发现”的两种来源
“未发现”至少有两种性质不同的解释，混在一起会让对照组失去意义。
第一种是入口缺失：页面没有任何可被跟随的链接指向，或只存在于孤立的站点地图里。这类页面是否被发现，主要取决于外部入口和站点地图是否被读取，而不是页面本身质量。
第二种是预算与优先级问题：页面有内链、也在站点地图中，但抓取资源被更高价值页面占用，导致这部分 URL 长期停留在“已知未抓取”或“未发现”。
两种解释对应的对照组设计完全不同。第一种要在“有入口”和“无入口”之间配对；第二种要在“入口相同、优先级不同”之间配对。若不先区分来源，实验组和对照组会同时混入两类页面，任何差异都无法归因。
划分对照组时优先固定哪些变量
可操作的顺序是：先固定结构变量，再固定内容变量，最后才看发现状态。
- 内链层级：从首页出发的可点击跳数。同一层级内的页面才有可比性，跨层级对比等于把“入口强度”和“页面特征”混在一起。
- 模板类型：列表页、详情页、聚合页的抓取表现差异很大，对照组应保持模板一致。
- 发布时间或内容更新时间：新旧页面的抓取机会不同，跨时间对比会引入额外变量。
- URL 结构：目录深度、参数数量、是否含动态参数，都会影响被抓取的概率。
固定这些变量后，再在每一层内部按“已发现/未发现”分组。这样得到的对照组，才能把差异收敛到少数几个可解释的原因上。
用一次配对动作验证入口假设
假设有一批 200 个详情页，其中 60 个已被发现、140 个未被发现。先不要直接比较这两组的内容长度或关键词覆盖，而是做一个配对动作：
- 从 140 个未发现页面中，按模板、层级、发布时间各选 20 个，组成“未发现组”。
- 从 60 个已发现页面中，按同样条件各选 20 个，组成“已发现组”。
- 检查两组页面在内链来源数量和是否出现在站点地图上的分布。
如果两组在内链来源数量上接近，却仍出现发现率差异，那么入口缺失的解释就被削弱，更值得怀疑的是抓取预算或页面自身特征。反之，如果未发现组普遍缺少内链来源，那么下一步应优先补入口，而不是改内容。
这个动作的结果会直接决定下一步：入口差异显著时，先做内链和站点地图的补充；入口差异不显著时，才转向抓取日志和页面质量层面的排查。
两个看似合理的做法，选择条件不同
做法一：按发现状态直接二分。它适合页面数量少、结构高度同质、且入口来源基本一致的场景。代价是当页面跨越多个模板或层级时，结论容易被结构差异污染。
做法二：先分层再配对。它适合批量页面数量大、模板多样、内链分布不均的场景。代价是需要更多前置整理工作，且样本量小时可能无法在每个层级都配出足够对照组。
选择依据可以简化成一条：如果未发现页面在结构变量上的分布与已发现页面明显不同，就必须先用做法二；如果两者分布接近，做法一才成立。
区分两种解释需要哪些证据
要把“入口缺失”和“抓取预算不足”分开，可观察以下证据，但要注意每种现象都有多种合理解释：
- 抓取日志中该目录的请求量：请求量低可能意味着预算不足，也可能意味着入口本身少，不能单独作为结论。
- 站点地图读取记录：站点地图被读取不等于其中的 URL 会被抓取，读取行为与抓取行为是两件事。
- 内链来源数量分布：来源数量差异是入口假设的直接证据，但需排除模板自动生成链接带来的干扰。
- robots.txt 限制范围：抓取限制会阻止抓取，但不等于可靠的索引移除手段；若限制范围覆盖了部分 URL，对照组必须先把这些 URL 剔除，否则差异会被误读为发现率问题。
这些证据需要组合使用。单一指标归零或异常，不能单独证明某个处理动作是正确的，只能说明该指标对应的环节值得进一步核查。不同搜索引擎对站点地图、robots.txt 和抓取行为的支持情况存在差异，涉及具体平台时应分别核查其文档，而不是套用同一套假设。
把对照组划分清楚之后，后续的修复动作才有明确的验证对象：改动的是入口，就看入口组和对照组的发现率是否出现分离；改动的是抓取效率，就看同层级内未发现组的抓取请求是否上升。没有对照组的改动，只能看到整体数字变化，无法判断变化来自哪一层原因。
