先别急着改站点配置。把“带参数的网址收录慢”当成一个可复现的问题,从正常页面里挑一个最接近的对照,再只改一个变量去测,通常比同时调参数、内链和抓取规则更快找到分界点。下面以你手上的一个正常页面和一个异常参数页为对象,给出可执行步骤。
团队里常见分歧是:运营说“这批参数页一直不收录”,技术说“我搜过收录了”。两边都没错,因为说的可能不是同一个网址、同一台设备、同一时间。处理的第一步是固定事实口径,把口头判断变成一行可核对的记录。
?后的全部参数及顺序。site:限定,还是直接搜索完整网址。把这四项写进同一张表后,多数“有人看到收录、有人看到没收录”的争论会直接消解:要么URL不同,要么查询口径不同。剩下的才是真正需要排查的收录时间差异。
缩小复现条件的核心是控制变量。假设你有一组商品页,无参数版本收录正常,带?color=red的版本迟迟不出现。不要一次改掉参数、模板和内链,而是构造一组最小差异的测试URL,让它们之间只差一个因素。
?x=1。?color=red。每个变体单独提交,间隔固定天数后核对。如果A正常而B异常,问题更可能出在参数值本身触发的页面差异,比如筛选后正文为空、内容与主版本高度重复;如果A和B都异常,而基线正常,问题更可能在“带参数”这一形式被如何处理,而不是某个具体值。这个区分会直接决定下一步是改页面内容还是改参数策略。
很多“参数页不收录”实际不是参数被拒,而是参数对应的页面内容不合格。常见可区分的原因有三类,各自的证据不同:
这三类的处理方向不同:第一类要补内容或让参数页返回合适状态;第二类要判断该参数是否值得作为独立可收录地址;第三类要确认渲染方式是否让内容可被抓取。把它们混为一谈,就会出现“改了模板还是没变化”的循环。
以下为说明比较方法的假设场景,不是真实项目结果。某站点无参数页在若干天内被收录,带?sort=price的版本长期未出现。按上面的方法构造四个变体并各自提交,固定观察两周。结果假设为:?x=1正常,?sort=price异常,双参数异常,顺序调换无影响。
这个分布指向“参数值对应的页面内容”而非“参数数量”。下一步动作应是抓取?sort=price返回的HTML,确认正文是否只是同一批商品换了顺序。如果是,处理方向是让该参数页与主版本建立明确关系,或不再把它当作独立收录目标;如果不是,再检查该页是否有独有的可见内容。动作的结果决定了你是继续调内容,还是停止为这类参数页投入。
缩小复现条件之后,你应当能回答:异常出现在哪个参数、哪种取值、哪种渲染方式下。基于这个分界点选择一个动作,并预设回退条件。
需要提醒的是,robots.txt的限制抓取并不等于可靠的索引移除,站点地图也不保证收录。判断某个动作是否有效,不能只看某次查询结果归零或某项统计下降——抓取延迟、查询口径变化、页面改版都可能产生同样现象。把动作、观察时间和回退条件一起写下来,下一次遇到同类参数页时,你才有可复用的分界点,而不是从零再猜一遍。