江南白衣的书报室
20-09-09 18:17

“基础架构部的巡检系统落地”,离线执行的异常发现算法,可比流式实时的告警引擎多太多,挑花了眼。不过,写算法名,比报菜名枯燥多了,大家可以跳出了。

趋势发现如内存,线程数的缓慢上涨,可以简单用最小二乘法,也可以用Mann Kendall,

均值飘移(Meanshift),用于发现内存等跳变到另一个均值区间,不是缓慢上涨,也不是毛刺,我们选了Binary Segment。

周期性数据的突变,比如每天的CPU,可以用twitter的S-H-ESD。

离散性数据的突变,比如5xx错误数这种突然出现的,或者是虽然说连续性,但很平稳,方差为0,不适合EWMA的,可以用DBScan和四分位。

另外,离线都随便用python的现成库,不像实时得从java里找。

Johanne Landbo #程序员#