~/notes/cyber-probe-02-traffic-baseline-and-counter-reset.md1199 字

项目实战Cyber Probe 监控系统学习笔记 · 02/03

Cyber Probe(二):流量校准基线与计数器重置

用基线加增量模型解释流量校准,分析网卡计数器回退后的重锚处理,以及上行下行与配额总量的关系。

目录 4 节

服务商面板上的计费流量与网卡累计值未必一致。Cyber Probe 允许手工校准已用量,但之后的新流量仍然需要累计,主机重启也不能让已经计入的增量消失。

本篇只讨论 computeBandwidthUsage 的计算模型:校准基线、网卡锚点、当前累计值,以及计数器归零后的处理。示例数字用于解释公式,不是生产环境测量结果。

一、校准值需要成为继续累计的起点

流量统计还有另一种数据差异:网卡累计值不一定等于服务商面板的计费数字。

Probe 目前统一按上行加下行计算。采集会过滤常见的容器、桥接和隧道接口,降低同一份流量重复计入的风险,但服务商可能只计算公网流量,或者采用不同的计费方向。两边不能默认完全一致。

项目允许手工填写服务商面板上的已用流量,把它设为校准基线。在网卡计数器正常递增的情况下,可以用一个简化公式理解:

当前已用量 = 校准基线 + 当前网卡累计值 - 校准时的网卡累计值

例如,假设服务商显示已用 100 GB,校准时网卡累计为 140 GB;之后网卡累计达到 145 GB,页面应显示 105 GB。这里的数字只用于解释计算关系,实际存储按字节处理。

校准之后新增的流量继续累计。如果只是把页面显示永久改成输入值,接下来所有增长都会丢失。

pkg/server/hub.go 的 computeBandwidthUsage 同时处理首次锚定、计数器回退和方向拆分。正常递增路径可以抽取为下面的示意函数:

// 仅表示计数器没有回退时的合计公式。
func usageWithoutReset(baseline, anchor, live uint64) uint64 {
    if baseline == 0 {
        return live
    }
    return baseline + (live - anchor)
}

这段函数不能代替完整实现。uint64 不表达负数,只有确认 live >= anchor,减法才成立;计数器归零需要先进入重锚分支。完整算法还分别检查上行和下行,避免总量仍增加时漏掉某一个方向的回退。

二、网卡归零后,已经累计的流量要留下来

主机重启或者接口变化后,网卡计数器可能变小。此时继续直接相减,可能出现负数,使用无符号整数时还可能下溢成很大的值。

项目在检测到相关计数器回退后重新锚定,并把此前已观察到、已经计入的增量折算进基线,再持久化新的基线和锚点。这样,之前累积的用量不会因为一次重启消失。

这个处理保存的是已观察到的增量,不能凭空恢复离线期间没有采集到的流量。因此,手工校准和持续采集仍然各有作用。

方向明细还需要满足一个约束:

已用上行 + 已用下行 = 配额统计使用的总量

服务商提供的历史基线通常只有合并数字,无法还原真实的历史方向。项目按锚定时的网卡比例分配这部分基线;锚定后的新增流量则保留实际方向。页面里的方向拆分因此包含估算部分,不能据此声称历史上行和下行都是服务商精确账单。

三、用数值例子追踪重锚

延续前文的示例,基线为 100 GB,锚点为 140 GB,最后观察到的累计值为 145 GB,已用量为 105 GB。如果随后观察到计数器归零,已经观察到的 5 GB 增量应折算进基线,并在新的计数器起点重新锚定。

实际算法还要按方向处理计数器回退,所以示例不能代替 pkg/server/hub.go 的完整实现。尤其是离线期间未观察到的字节,不会因为重锚而自动恢复。

建议对照 pkg/server/billing_test.go 中 TestBandwidthResetFoldsAccumulatedIntoBaseline、方向锚点持久化和方向合计相关用例阅读。本文没有重新执行测试;检查目标是已观察到的累计值连续、减法不下溢,以及方向合计不改变配额总量。

项目代码:wildalley/probe。

系列阅读

上一章:Cyber Probe(一):探测事件去重与真实丢包统计

下一章:Cyber Probe(三):设置表单如何保留流量校准锚点

  1. Cyber Probe(一):探测事件去重与真实丢包统计
  2. Cyber Probe(二):流量校准基线与计数器重置
  3. Cyber Probe(三):设置表单如何保留流量校准锚点