【运营商案例】省级运营商IT应急管理体系化建设实践

01 某运营商 IT 应急管理建设背景

通过对省级运营商 IT 应急规范指引进行分析，发现其在 IT 应急管理事前、事中、事后各环节均存在问题，且省内每年计划开展各类系统应急演练，演练频次高且场景多，IT 应急保障管理面临较大压力，数智化应急水平亟需提升。具体存在问题如下：

• 预案覆盖不完整，手动收集，预案基准稽核缺失：预案信息滞后，现有预案执行易出错，预案关键要素缺失，无法充分发挥作用。
• 演练计划达标率存在风险，演练覆盖面不完整：部分系统长期未执行演练，存在生产高可用隐患，演练管理低效，信息化程度差。
• 应急协同无序：不具备人员快速召集、一键拉群等协同支撑能力。
• 应急处置过于依赖人员经验，缺乏过往经验处置库等支撑能力：未能将专家及历史处理经验有效沉淀固化。
• 自动化处置程度不高：如当前网络应急需要人工处置。
• 缺乏应急预案与应急处置的跟踪闭环：未形成组织级知识沉淀，难以驱动改进优化。
• 演练实施效果无法准确评估与闭环跟进：缺乏自动化的运营数据统计呈现，难以指导改进方向。

02 功能模块设计

从事前演练预防、事中快速处置、事后复盘改进三方面体系化进行 IT 应急数智化能力提升。

1) 以场景为核心构建结构化预案体系以场景为核心，建立数字化预案：

通过对预案的线上化管理，提升预案的可执行性，避免有预案但是在事发时却用不成的情况；构建业务系统结构化预案体系，提升预案场景覆盖率。

按照业务系统维度建立预案，将系统关联的故障场景分为高可用切换、应急系统切换、容灾系统切换、核心资源重启和数据备份恢复 5 种类型，同时按照故障对象所处资源层级，将场景进一步分为：接入层、应用层、中间层、数据层、软件产品、硬件设备和配套设施 7 个层级，建立业务系统结构化预案体系。

2) 常态化演练，解除生产安全隐患，实现预案保鲜：

根据业务系统预案所设定的场景演练频率，对各业务系统预案进行常态化、周期性演练。对于演练中发现生产问题进行及时的整改，解除生产安全隐患；如果是预案相关的问题，则对预案进行及时更新，必要时进行复盘演练，实现预案保鲜。

支持多场景联合演练；支持手动和定时演练；支持场景批量执行和流程的重复执行；支持执行过程查看与执行控制；支持演练报告自动生成。

3) 一站式事中应急处置：

事中应急处置包括事件发起、应急响应、应急处置和事件解除四个阶段。支持应急事件管理，支持一键拉会 / 建群，支持应急进展实时更新，支持一键式应急处置与手工处置。

• 事件管理：支持应急事件的统一管理，支持基于事件启动应急
• 一键拉会：对接会议工具，实现一键拉会
• 应急响应：支持语音自动拨打电话进行一键批量通知，实现人员快速召集并对应急事件进行快速响应
• 人员签到：实现应急人员的自动签到
• 进展播报：应急计时、整体进展、签到统计、公告发布等
• 应急处置：故障场景处置、应急流程处置、人工处置

4) 复盘改进：

对应急演练和应急事件处置过程中发现的问题，进行督办整改，实现应急管理的闭环。

对应急处置或者应急演练过程中发现的所有问题进行分类管理与整改，对于生产隐患，及时修复，防患于未然；对于应急场景、预案存在的问题，进行及时更新，保障预案场景的实时可用。

5) 统计分析：

包括演练日历、待办统计、演练统计、预案统计、场景统计等，可直观的查看预案覆盖度，演练达标率等。

03 某运营商应急管理实施效果

1.数字化预案体系：应急预案由线下 “可阅读” 文档转变为线上数字化 “可执行” 能力，应急预案得到有效治理，应急处置有效性达到 90%。

2.常态化演练：根据各业务系统各分类场景的演练频率，自动生成全年演练计划，进行周期性、常态化演练，统计演练达标率，作为考核指标。

3.应急自动化能力提升：重要系统应急自动化演练比例达到 80% 以上的集团考核要求，核心系统演练耗时缩短约 30%。

4.应急响应、协同、处置：通过一键拉会，语音自动拨打电话批量通知，提升故障处置集中管理调度能力，实现 5 分钟内人员自动召集，应急协作有序，加速问题定位和故障处理效率。

5.故障复盘，总结经验，加固预案：构建故障场景库能力，通过故障根因分析，沉淀形成故障场景库，反哺预案保鲜，同时对于发现的生产系统漏洞或缺陷进行整改，保持系统健壮性。

6.应急保障水平可度量，支撑长效优化：结合报表能力自动统计预案覆盖率、演练完成率、应急处理时效、RTO 等应急能力度量指标。

04 应急灾备管理选型推荐

嘉为蓝鲸应急灾备管理中心・鲸舟（简称：应急灾备中心）是一款致力于建立一套完整的 IT 应急灾备管理体系，以快速恢复业务为核心目标，从故障应急和灾难应急两个方面，持续提升业务连续性保障能力的产品。故障应急通过故障预防、故障发现、故障响应、故障定位、故障恢复、复盘改进 6 个环节形成故障应急闭环管理；灾难应急是 IT 应急的最后一道防线，通过平时的常规演练以及战时的随时可切，保障业务的可持续性。