先给结论:自动导出遗漏分页,通常不是“导出失败”,而是分页边界与去重规则在规模化后被放大。检查完整性要抓三件事:导出任务的请求范围、分页游标或偏移量的推进方式、以及导出后记录的稳定标识是否唯一。只核对总条数很容易误判,因为条数可能因去重、过滤或重试而恰好接近却并不完整。
用SEO软件工具手动导出几十条时,翻页、复制、粘贴都正常;改成自动导出几千条后,最后几页缺失或中间整段消失。这个现象容易让人先怀疑工具坏了,但更常见的原因是分页方式与数据变动叠加。要区分“工具缺陷”和“配置边界”,先看两个解释。
解释一:偏移量漂移。如果导出按 offset=0,100,200... 推进,而数据在导出过程中有新增、删除或排序变化,后一页的起点会相对前一页偏移。结果是某些记录被跳过,另一些被重复取到,总条数看起来接近,但集合并不完整。
解释二:游标失效或去重过猛。如果导出依赖游标(如“上一页最后一条的ID”),当排序字段不唯一或游标字段被截断,翻页会在某处停住或回到前面。另一种情况是导出后按某个字段去重,而该字段并不唯一,导致不同记录被当成重复项合并。
要判断属于哪一种,不要只看总数,做三个可核对的观察:
假设某次导出任务按每页100条、偏移量递增执行,目标集合约5000条。导出后得到4980条,缺20条。先不要直接补导。把导出条件改为按稳定标识升序、用“上一页最后一条标识”作为下一页起点,并关闭导出后的字段去重,只保留标识去重。若补齐后得到5000条且无重复,说明原问题是偏移量漂移与去重字段不唯一;若仍缺同一区间的记录,则要检查该区间是否被过滤条件排除。这个动作的结果会决定下一步:是调整分页方式,还是调整过滤与去重配置。
在把导出用于更大范围前,先做一次小规模对照:同一查询条件,分别用偏移量和游标各导一次,比较两者的标识集合差异。差异为空,说明当前数据静止且排序稳定,可以继续;差异不为空,说明不能直接照搬小样本结论。需要核对的边界包括:排序字段是否唯一、导出期间是否有写入、去重字段是否唯一、过滤条件是否在翻页间保持一致。具体工具是否提供游标导出、是否支持稳定排序,需要按你实际使用的版本核对,不能假定所有SEO软件工具都具备相同行为。
最后,完整性检查的目标不是让总条数好看,而是让导出集合能复现。只要分页推进方式与去重规则在规模化后仍能对同一时间点产生相同标识集合,遗漏分页的问题才算被控制住。