核心结论:先找第一条失败请求,确认它有没有收到响应头、读完响应体并写入数据。连接失败查网络和代理,响应读取失败查超时和传输,已经读完却没有结果则查解析、写入和任务进度。以按站点规则定时采集公开招投标公告为例:任务启动时一切正常,跑到中途却不再新增记录,控制台仍显示进程在线。这时先别重跑整批,保留当轮日志和已保存的进度。否则下轮跑通了,也很难判断上一轮到底漏了哪些公告。
HTTP采集停了,先找第一条失败日志
从最后一次确认入库的任务进度往后查,找到尚未完成的那一页或那一批。用任务编号和请求编号串起调度、HTTP客户端、解析和写入日志,同一请求的多次重试分别记录。不要只看最后一条“重试耗尽”,它往往只说明任务怎么结束,不能说明故障是怎么开始的。
把同一次请求的几个事件串起来:开始建连、收到响应头、读完响应体、完成写入。找到最后一个已确认的事件,再用下表决定下一步查什么。
并发任务的日志会交错,不能把相邻的两行当成同一次请求。建议用请求编号归集事件,并保留脱敏后的目标路径和分页标记,便于故障后核对实际影响范围。
收不到响应头:连接超时还是代理鉴权失败?
没有收到最终响应头,不能直接归咎于目标站点。先看异常发生在DNS解析、TCP连接、代理握手,还是连接建立后等待响应头。若通过HTTP代理访问HTTPS站点,还要区分客户端到代理的连接、代理建立隧道,以及与目标站点的TLS握手。
如果代理返回HTTP 407,优先核对代理认证所用的账号配置,或采集机器的出口地址是否在白名单内。若任务换过容器或运行节点,尤其要核对实际发起请求的环境。账密和认证头不要写入日志;接入配置可以对照极安代理的代理可用性检测指南核对。
需要区分代理链路与目标站点问题时,在相同运行环境、相近时段,对同一个允许访问的地址做少量对照请求,保持请求方法、超时和读取方式一致。只有在站点规则和网络策略均允许直连时,才把直连作为对照。仅代理路径失败时先查代理接入;两条路径都失败时核对共同依赖,不能凭一次失败就断定是源站故障。
收到HTTP 200,为什么页面还是读不完?
HTTP 200只能说明客户端已经收到成功状态,不能证明响应体完整。若有成功状态码,却没有“响应体已读完”的记录,先看读取异常、是否每次都在相近耗时中断,以及小页面和大页面的表现是否不同。只做响应头探测或拿很小的测试响应,未必能发现正式任务里的读取问题。
判断超时时,先区分连接超时、读取超时和整条请求的总时限。不同客户端对读取超时的定义可能不同,有的限制两次读取之间的等待,有的另设整段读取时限。如果每次失败都卡在相近的时点,把采集程序、任务调度器和网关的时限放在一起核对,找出最先结束请求的一层。
若日志写的是连接重置或响应提前结束,先用同一份获准访问的样本核对响应是否正常完成、解压和解析是否成功。响应读到一半时,不应把当前缓冲区当成完整页面。即使客户端读完了,若拿到的是提示页或字段结构已经变化,也应记录为内容校验失败,而不是统计为采集成功。
另一个容易误归类的情况是HTTP 429。它是已经收到了限频响应,不是网络断线。站点返回Retry-After时,按其指示和站点规则安排后续访问,并降低同一站点的整体请求频次;如果持续收到HTTP 403,先暂停相关任务并核对授权和访问规则,不把拒绝响应当作普通超时反复重试。
页面读完了却没数据:查解析、写入和进度
响应体完整、数据却没有新增时,依次对照已读取、已解析和已提交的记录。比如公告页照常返回,解析记录却突然变为零,应先检查页面结构是否变化;若已解析但未提交,则查写入错误、事务是否回滚,以及写入队列有没有积压。真正的空结果也应单独记录,不能与解析失败共用一个状态。
进度应在落库成功后推进。分页采集若用游标,只有当当前页通过校验且写入提交后,才保存下一页游标;若按时间采集,则记录最后一个确认完成的时间窗口,并在允许的范围内核对边界。按公告编号等稳定标识去重,即使数据已经入库、但进度尚未来得及保存,再跑同一批也不会重复新增。
偶发连接失败或临时读取失败可以在站点规则允许的范围内有限重试。若失败源于权限配置、内容结构变化或数据库写入,重复发送HTTP请求通常不解决问题。将对应批次标记为待处理,保留失败原因和数据范围;如果还有不受影响的批次可继续,也不要把整轮误标为完成。
企业采集恢复后,要验收链路和数据
极安代理的国内隧道代理支持异常出口自动切换,是企业长期采集的稳定之选。对于允许使用动态出口的国内持续采集,转发IP不可用时,服务会将请求自动转发到新的可用IP,采集端不必手动更换出口。这项机制不适用于必须固定出口的任务,也不能续读已中断的响应或替程序补采。
验证代理链路是否恢复,可在站点允许的频次内,保持目标范围、请求节奏和超时配置一致,观察完整调度周期内同类请求能否读完响应体。对照故障前后的失败阶段和次数,而不是只看某一次请求返回HTTP 200。代理链路恢复和数据已经补齐,是两件不同的事。
验证数据是否恢复,要用故障前最后一次确认提交的进度,对照恢复后实际覆盖的范围。在站点允许补采且进度仍有效时,只补缺失的页或时间段,再核对公告编号、时间范围和去重结果。只要还有未确认的区间,就不要将整轮任务标为完成。
公告列表会随新内容发布重新排序,按原页码重跑不一定能找回当时的记录。若站点提供受支持的时间筛选或增量接口,优先按故障窗口核对;无法还原时,保留缺口及其原因,便于后续复查。












