大数据时代如何做好运维？基础设施平台化 + 集群管理自动化 + 运维决策智能化。

更新历史

• 2022.11.26：完成初稿

读后感

这本书属于快速扫盲和科普，串讲了一遍技术侧的内容，总体来说参考价值有限，因为技术迭代速度太快了。

读书笔记

运维现状

SLA 的衡量指标：

1. 平均故障间隔时间 MTBF，产品可靠性指标
2. 平均修复时间 MTTR
3. 可用性 Availabilty = MTBF / (MTBF + MTTR)

运维涉及的常见技术和框架

• 操作系统: CentOS, Ubuntu 等
• Web Server：Nginx，Apache 等
• 网络工具：tcpcopy, curl 等
• 监控和报警系统：Grafana, Zabbix 等
• 自动部署：Ansible, sshpt, salt, Jenkins 等
• 配置管理及服务发现：Puppet, Consul, Zookeeper 等
• 负载均衡：LVS, HAProxy, Nginx 等
• 传输工具：Scribe, Flume 等
• 集群管理工具：Zookeeper 等
• 数据库：MySQL, Oracle, SQL Server 等
• 缓存技术：Redis, Memcache 等
• 消息队列：Kafka, ZeroMQ 等
• 大数据平台：HDFS, MapReduce, Spark, Storm, Hive 等
• 大数据存储：HBase, Cassandra, MongoDB, LevelDB 等
• 时序数据（OLAP 平台）：Druid, OpenTSDB 等
• 容器：Docker, K8s
• 虚拟化：OpenStack, Xen, KVM 等

运维发展历史

1. 人工阶段
2. 工具和自动化阶段
3. 平台化阶段
   1. 监控系统：ELK, Grafana, OpenTSDB
   2. 报警系统：Zabbix
   3. 自动化平台：Gitlab, Jenkins, Ansible, sshpt, salt, Docker
4. 智能运维阶段

关键模块

1. 开源数据采集技术
   1. 工具：Flume, Filebeat(golang), Logstash, Scribe
2. 分布式消息队列技术
   1. 消息中间件；ZeroMQ, ActiveMQ, RocketMQ, Kafka
3. 大数据存储技术
   1. HDFS
   2. 数据仓库：Buffer / ODS / DWD / DWS / DM
4. 大规模数据离线计算分析
5. 实时计算框架
   1. 框架：Spark Streaming, Flink
6. 时序数据分析框架
   1. 时序数据库：Graphite, InfluxDB, OpenTSDB, Prometheus, Druid, Elasticsearch, ClickHouse
7. 机器学习框架

智能运维技术

关键技术

1. 数据聚合与关联技术
2. 数据异常点检测技术
3. 故障诊断和分析策略
4. 趋势预测算法