Jacky Wu bio photo

Jacky Wu

Software Architect in China

Email Twitter Facebook LinkedIn Github Weibo

简介

Kale stack 介绍

  • Skyline. We use Skyline to detect anomalous metrics.
  • Oculus. We search for that metric in Oculus, to see if any other metrics look similar.

组件

Horizon

功能: 采集数据入skyline系统

  • Listeners
    • TCP-pickle listener on port 2024
    • UDP-messagepack listener on port 2025
  • Workders: 从Listener queue读数据, insert到redis
  • Roombas: 清理redis

Analyzer

功能: 分析数据, 进行异常判定.

架构

异常检测算法

异常检测算法有

  • stddev_from_average
  • first_hour_average
  • stddev_from_moving_average
  • moving_average
  • simple_moving_average
  • exp_weighted_moving_average
  • mean_subtraction_cumulation
  • least_squares
  • grubbs
  • histogram_bins
  • ks_test
  • median_absolute_deviation

算法代码:

参考src/analyzer/algorithms.py.

算法参考资料:

安装

缺陷

  1. 对metric套用所有算法, 大部分算法认为异常就算异常, 处理的太笼统.
  2. 把Redis当做一个time-series db, 对老数据的清理效率很低, 非常影响Redis性能.

参考资料

参考资料