网站优化诊断：访客被分配到不同版本时怎样识别样本污染
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /015e755e1ea1.html
📄
网站优化诊断：访客被分配到不同版本时怎样识别样本污染
先给结论：当同一批访客可能进入两个以上版本时，样本污染通常不是“数据脏了”这么简单，而是分流单元与统计单元不一致。识别它的第一步，是确认每个访客在整段观察期内是否始终落在同一版本；如果中途发生切换，后续的点击、停留、转化都应视为混合样本，而不是版本效果。此时正确的动作不是继续加样本，而是先冻结分流规则，再决定保留、改写还是退出这次对比。
先分清两种污染：访客级与事件级
访客级污染指同一个人先看到A版、后又看到B版。事件级污染指同一访客虽只属于一个版本，但部分事件被错误归到另一版本，例如缓存页面发出旧版埋点、跳转链路丢失版本参数。
两者的证据不同。访客级污染会在用户路径里出现版本标识跳变；事件级污染则表现为版本标识稳定，但某些事件的时间戳、来源页或参数组合与所在版本矛盾。诊断时先看路径，再看事件，不要一上来就清洗全量数据。
用可核查的证据链判断是否真的发生了混合
不要只凭总转化率波动就断定污染。下面这组检查按证据强度从高到低排列，前两项成立时，基本可以确认存在混合样本。
- 同一访客标识下出现多个版本值。这是最直接的证据。前提是访客标识在观察期内稳定，且版本值确实写入同一日志字段。
- 版本切换点与某次发布、缓存刷新或跳转规则变更时间重合。时间重合只是线索，还要排除同一时段其他改动的影响。
- 分版本看，某版本的新访客占比异常高或异常低。这可能是分流不均，也可能是旧访客被重新分配。需要结合回访路径确认。
- 站内统计与第三方估算趋势方向相反。口径不同、统计范围不同都能造成差异，不能单独作为污染证据。
如果只有第四项成立，优先怀疑口径问题，而不是分流污染。
保留、改写还是退出：三种取舍的适用前提
确认污染后，处理方式取决于污染比例、污染是否随机，以及这次对比要回答的问题。
- 保留。适用前提是污染比例很低，且切换在版本间近似随机，同时你只需要粗粒度的方向判断。动作是记录污染比例，在结论中标注不确定性，不把它当作精确效果值。
- 改写。适用前提是分流规则可修复，且你能重新定义统计单元。常见动作是把分析单元从“会话”改为“首次进入版本”，只统计此后未发生版本切换的访客。结果是样本量下降，但每个样本的版本归属变干净，下一步可以重新判断差异是否仍然存在。
- 退出。适用前提是污染比例高、切换不随机，或修复成本高于重新设计一次对比。动作是停止基于这批数据做版本决策，改为先修分流与埋点，再重新开始。结果是放弃当前结论，但避免把混合样本当成版本效果。
这三种取舍不是按顺序全做一遍。若污染严重且不随机，改写往往只是把偏差藏起来，此时退出更合理。
一个注明假设的短例子
假设某页面同时存在A、B两个版本，分流依据是缓存中的版本标记。某次缓存策略调整后，部分回访用户在会话中途从A切到B。此时若直接比较两版转化率，B版可能同时包含“原本属于A的用户”，其行为差异会被误记为版本效果。
可执行动作是：先按访客标识拉出发生版本切换的用户，计算其占比；若占比不可忽略，再只保留首次进入后未切换的访客，重算两版指标。若重算后差异消失，说明原差异很可能来自样本混合；若差异仍在，也不能直接归因于版本，还要检查分流是否随机、事件是否漏记。
把结论落到下一步动作
识别样本污染的目的不是证明数据不能用，而是决定这次对比还能回答什么。若证据链支持访客级混合，先冻结分流规则，再按上述前提选择保留、改写或退出。若只看到指标波动而缺少访客路径证据，下一步应是补采版本标识与切换记录，而不是继续扩大样本。只有当分流单元与统计单元重新一致时，版本对比的结论才具备可解释性。
