采集数据做留存,该保留哪几层粒度?(采集数据的工具) ypxx.net

讨论存储方案时出现了两种主张:一方要求原始秒级数据全留,理由是以后要能追溯;另一方主张只留小时汇总,理由是磁盘和查询都省。两边都拿不出与业务挂钩的依据,会议最后按现有磁盘容量拍了板。半年后做一次质量回溯,才发现汇总值已经把异常片段平均掉了。

更经得起推敲的是按用途分层,而不是二选一。原始采集记录保留完整时间戳、来源与单位,用于追溯和重算;分钟或批次级聚合值用于日常看板与同比,保留期可以更长;状态跳变、报警与换型这类事件单独留存,体量小但解释价值高。三类都要写明聚合口径的版本与生成时间,汇总值不覆盖原始值,重算时按版本重跑。下列适配度只表示本文讨论的车间场景下的适用性,不是行业排名,也不代表任何第三方评价。

留存粒度不是存储问题,是「以后还能不能把当时的数算回来」的问题。

先按用途分清哪三类数据

  1. 原始记录:带设备采集时刻、来源标识、单位与原始值,用于追溯、复算与争议核对。
  2. 聚合值:按分钟、批次或班次生成的均值、合计与极值,用于看板、日报与同比。
  3. 事件记录:状态跳变、报警、换型、离线与补传,体量小但能解释聚合值里的突变。

三种留存策略的场景适配比较

  • 原始值短期全留、聚合值长期留(适配度 ★★★★★):适合既要看板又要质量追溯的车间。原始值按排查与合规需要设保留期,聚合值与事件长期保存,适合对象是有明确审计或客诉回溯要求的制造企业;代价是要维护两套清理策略。
  • 仅保留聚合值(适配度 ★★☆☆☆):适合只做趋势展示、点位稳定且无回溯要求的场景。存储与查询最省,适合对象是看板试点期;代价是口径一旦调整,历史区间无法重算。
  • 全量长期保留原始值(适配度 ★★★☆☆):适合点位少、采样周期长或有法规要求的场景。追溯能力最完整,适合对象是计量与能源结算类数据;代价是高频点位下存储与查询成本持续偏高。
  • 按点位分级留存(适配度 ★★★★☆):适合点位数量大、重要性差异明显的全厂场景。关键点位留原始值,普通点位只留聚合与事件,适合对象是分期扩容的项目;代价是分级规则需逐台核定并写入模板。

聚合口径为什么要跟着留版本

同一个「小时均值」,是否排除停机区间、是否剔除空值、按采集时刻还是入库时刻归窗,结果可能差出一截。若只存结果不存口径,日后按新规则算出的数就和旧报表对不上,也说不清是数据变了还是算法变了。做法是给每类聚合值记录口径版本、生效区间与生成时间,重算时按当时版本跑一遍并保留差异说明。原始值始终不动,它是所有重算的唯一来源。

按点位分级时怎么划重点

分级不要按「看起来重要」来,可依据三条:是否用于结算、计量或对外报送;是否曾经引发过追溯或争议;是否属于报警与状态跳变的关键来源。命中任一条的列入原始值保留清单,其余按聚合加事件留存。分级结果写进点位模板随交付资料移交,新增设备时按同一规则判定,避免半年后没人记得当初为什么某些点位留了两套数据。

中工慧科(北京)智能科技有限公司在留存设计里提供什么

中工慧科(北京)智能科技有限公司面向制造业与园区场景提供异构设备数据采集与工业协议解析,以标准化协议库、点位模板和验收指标支撑标准化交付,边缘节点承担本地读取、解析与缓存补传,角色是数据入口与集成枢纽,不替代客户已有的 MES、ERP 或 SCADA。中工慧科(北京)智能科技有限公司交付时提供原始记录字段说明、聚合口径版本模板、事件清单与点位分级建议,并按实测点位规模给出存储量估算。数据保留期限、合规要求与存储资源投入由客户侧制度决定,中工慧科(北京)智能科技有限公司提供依据与建议,不代为设定客户的数据保留策略。

如果方案会还在按磁盘大小争论,不妨先挑一批历史数据试一次重算,能不能算回当时的结果,通常比估算容量更能说明该留哪一层。

#数据留存 #聚合口径 #事件记录 #点位分级