运维知识系统、运维分类、运维自动化发展

运维学习和发展的一个线路：

1、搭建服务（部署并运行起来）

2、用好服务（监控、管理、优化）

3、自动化（服务直接的关联和协同工作）

4、产品设计（如何设计一个监控系统）

运维分类

机房运维（负责设备上下架、巡检、报修、硬件监控）

基础设施运维（系统初始化、网络维护）

 

基础服务运维（内部DNS、负载均衡、系统监控、资产管理、运维平台）包含运维开发

系统运维（架构层面的分布式缓存、分布式文件系统、日志收集、环境规划（测试、开发、生产）、架构设计、性能优化）

 

安全运维（整体的安全方案、规范、漏洞监测、安全防护等）

 

应用运维（业务熟悉、服务部署、业务部署、版本管理、灰度发布、应用监控）

监控运维（7*24运维值班、故障处理）

 

云计算的核心竞争力是运维！

运维知识

转自：https://www.unixhot.com/page/ops

 

 

 

 

 

 

运维自动化发展

　运维标准化:

• 物理设备层面：

1. 服务器标签化、设备负责人、设备采购详情、设备摆放标准

2. 网络划分、远程控制卡、网卡端口

3. 服务器机型、硬盘、内存统一。根据业务分类

4. 资产命名规范、编号规范、类型规范

5. 监控标准

• 操作系统层面：

1. 操作系统版本

2. 系统初始化（DNS、NTP、内核参数优化、rsyslog、主机名规范）

3. 基础Agent配备（Zabbix Agent、Logstash Agent、Saltstack minion）

4. 系统监控标准（CPU、内存、硬盘、网络、进程）

• 应用服务层面

1. Web服务器选型（Apache、Nginx）

2. 进程启动用户、端口监听规范、日志收集规范（访问日志、错误日志、运行日志）

3. 配置管理（配置文件规范、脚本规范）

4. 架构规范（Nginx+Keepalived、LVS+Keepalived等）

5. 部署规范（位置、包命名等）

• 运维操作层面：

1. 机房巡检流程（周期、内容、报修流程）

2. 业务部署流程（测试、生产、回归）

3. 故障处理流程（紧急处理、故障升级、重大故障管理）

4. 工作日志流程（如何编写工作日志）

5. 产品上线流程（发起-> 评审 -> 测试 -> 开发 -> 部署 -> 上线 -> 监控 -> 备份）

6. 产品下线流程（谁发起，数据如何处理）

7. 运维安全规范（密码复杂度、更改周期、VPN使用规范、服务登录规范）

　　标准化（规范化、流程化、文档化）目标：文档化

　　所有问题不要成为历史遗留问题

　运维工具化

1、SHELL脚本（功能性（流程）脚本、检查性）

2、开源工具：Zabbix、ELKStack、SaltStack、Cobbler

目标：

1. 促进标准化的实施

2. 将重复的操作，简单化

3. 将多次操作，流程化

4. 减少人为操作的低效和降低故障率

工具化和标准化关系紧密！

       痛点：

              1、你至少要ssh到服务器执行，可能犯错

　　　　2、多个脚本有执行顺序的时候，可能犯错

　　　　3、权限不好管理，日志没法设计。

　　　　4、无法避免手工操作。

　　例如某天我们要对一台数据库从库进行版本停机升级。那么要强进行评估：

　　停机影响：3:00晚上有定时任务链接改数据库，做数据报表统计。

　　1、凌晨3:00我们所有系统的定时任务有哪些  crontab

　　2、这些crontab哪些链接我们要停止的从库

　　3、哪些可以停，哪些不能停（修改到主库），哪些可以后补。

　　4、这些需要后补的脚本是哪个业务、谁加的、什么时候加的。

 　运维平台化（Web化）

1、做成Web界面

2、权限控制

3、日志记录

4、弱化流程

5、不用ssh到服务器，减少人为操作造成的故障（web ssh）

　运维服务化（API化）

DNS Web管理 bind-DLZ　　dns-api

负载均衡Web管理　　slb-api

Job管理平台　　job-api

监控平台Zabbix　　zabbix-api

操作系统安装平台　　cobbler-api

部署平台　　deploy-api

配置管理平台　　saltstack-api

自动化测试平台　　test-api

1. 调用cobbler-api安装操作系统

2. 调用saltstack-api进行系统初始化

3. 调用dns-api 解析主机名

4. 调用zabbixx-api 将新上线机器加上监控

5. 再次调用saltstack-api部署软件

6. 调用deploy-api 将当前版本的代码部署到服务器上

7. 调用test-api 测试当前服务运行

8. 调用slb-api 将该节点加入集群

运维智能化

智能化的自动化扩容、缩容、服务降级、故障自愈

触发机制 –> 决策系统（决策树） –>

1、zabbix 触发action

触发：

1. 当某个集群的访问量超过最大支撑量

(1) CPU使用率达到xxx 内存使用率达到xxx

2. 并持续5分钟

3. 不是攻击

4. 资源池有可用资源（当前网络带宽使用率、如果是公有云–钱够不够）

5. 当前后端服务支撑量是否超过阀值，如果超过应该后端扩容

6. 数据库是否可以支撑当前并发

7. 当前自动化扩展队列，是否有正在扩容的节点

8. 其它业务相关的

之前: 先判断Buffer是否有最近X小时，已经移除的之前删除的虚拟机

并查询软件版本是否和当前一致，如果一致，跳过2、3、4步骤

如果不一致，跳过2、3步骤

2、 OpenStack 创建虚拟机

3、 Saltstack 配置环境

4、部署系统、部署当前代码

5、测试服务是否可用（注意间隔和次数）

6、加入集群

7、通知（短信、邮件）

自动化缩容：

1. 触发条件和决策

2. 从集群中移除节点

3. 通知

4. 移除的节点存放于Buffer里面

5. Buffer里面超过1天的虚拟机，自动关闭，存放于删除区

6. 删除区的虚拟机，每7天清理删除