一、系统故障应急流程 

1.1系统故障应急流程说明

（一）、故障发生

系统运维服务小组可从以下途径得知故障的发生：

1）运维服务中心通过网管告警发现故障

2）维护站点通过维护巡检发现故障

3）用户发现故障，报给呼叫中心

4）驻场工程师发现故障

（二）、报障受理

监控系统运维服务小组得知系统故障发生后，立即响应，并向报障人或单位详细了解系统故障情况。

（三）、信息研判

运维服务小组根据了解到的系统故障情况进行分析判断，以确定采用一般故障处理流程还是立即启动系统突发故障应急处理预案。

（四）、预案启动

如需启动应急预案，则立刻通知系统突发故障应急领导小组，由领导小组启动应急预案，对系统突发故障应急事件进行全面管控处理。

（五）、资源确认

系统突发故障应急预案启动后，首先是根据现场突发故障实际状况、紧急程度、技术难度、备品备件等情况对相关资源（主要是参与人员）依据经验进行调度和确认，主要有以下资源：

我公司技术支持人员；

相关厂家技术支持人员；

我公司聘请的技术专家

另外，如果现有资源不能满足应急需要的，可同时启动我公司内部的资源应急调度流程。

（六）、预案执行

按照既定的预案进行突发故障抢修，如遇到问题及时向系统突发故障应急领导小组汇报。

（七）、预案终止

预案的终止时间由故障现场技术人员根据现场的实际进展情况，在与用户单位有关部门协调后报系统突发故障应急领导小组决定。

（八）、结果上报

预案中止后，相关预案参与人员将整个事件过程中所有收发信息、领导批示、事故调查报告、现场录像、图片等材料及时整理归档，并总结事件处理过程中的经验和教训，修改、完善事件应急预案。然后集中上报至系统突发故障应急领导小组。

 

应急流程管理报告填写指南

编号：（格式为D0405-日期+两位序列号，其中日期按“yyyy+mm+dd”格式，2位序列号根据日期从01起顺序递增，例如D0405-2010031401，表示2015年3月14日第1张应急流程管理报告。）

报告日期：       年    月    日至       年    月    日（统计时间段）

报告人签名：                          服务主管签名：

时间：                                时间：

 

1.2 系统故障应急处理流程图

 

二、机房应急预案 

2.1 机房漏水应急预案 

（1）发生机房漏水时，第一目击者应立即通知运维服务小组，并及时报告监控系统突发故障应急领导小组。

（2）若空调系统出现渗漏水，运维服务小组负责人应立即安排停用故障空调，清除机房积水，并及时联系设备供应方处理，同时启动备用空调，必要情况下可临时用电扇对服务器进行降温。

（3）若为墙体或窗户渗漏水，运维服务小组负责人应立即采取有效措施确保机房安全，同时安排通知办公室 ，及时清除积水，维修墙体或窗户，消除 渗漏水隐患。

2.2 设备发生被盗或人为损害事件应急预案 

（1）发生设备被盗或人为损害设备情况时，使用者或管理者应立即报告系统突发故障应急领导小组，同时保护好现场。

（2）系统突发故障应急领导小组接报后，通知用户保卫部门、相关领导，一同核实审定现场情况，清点被盗物资或盘查人为损害情况，做好必要的影像记录和文字记录。

（3）事发单位和当事人应当积极配合公安部门进行调查， 并将有关情况向系统突发故障应急领导小组汇报。

（4）系统突发故障应急领导小组安排运维服务小组、事发单位及时恢复系统正常运行，并对事件进行调查。运维服务小组和事发单位应在调查结束后一日内书面报告系统突发故障应急领导小组。事态或后果严重的，应向相关领导汇报。

2.3 机房长时间停电应急预案 

（1）接到长时间停电通知后，运维服务小组应及时通过办公系统、电话等发布相关信息，部署应对具体措施，要求用户在停电前停止业务、保存数据。

（2）停电时间过长的，系统突发故障应急领导小组应报告应急指挥领导小组办公室，及时通知办公室，启动备用电源，保证系统正常运转。 如有必要，系统突发故障应急领导小组及时上报广州市视频监控系统应急指挥办公室和相关领导汇报。

2.4 通信网络故障应急预案 

（1）发生通信线路中断、路由故障、流量异常、域名系统故障后，操作员应及时通知本单位信息系统管理员，经初步判断后及时上报运维服务小组和系统突发故障应急领导小组。

（2） 运维服务小组接报告后，应及时查清通信网络故障位置，隔离故障区域，并将事态及时报告系统突发故障应急领导小组，通知相关通信网络运营商查清原因；同时及时组织相关技术人员检测故障区域，逐步恢复故障区与服务器的网络联接，恢复通信网络，保证正常运转。

（3） 事态或后果严重的，应向应急指挥办公室和相关领导汇报。

（4）应急处置结束后，运维服务小组应将故障分析报告，在调查结束后一日内书面报告系统突发故障应急领导小组。

 

2.5 不良信息和网络病毒事件应急预案 

（1）发现不良信息或网络病毒时，信息系统管理员应立即断开网线，终止不良信息或网络病毒传播，并报告指挥调度中心运维服务小组和系统突发故障应急领导小组。

（2）运维服务小组应根据系统突发故障应急领导小组指令，采取隔离网络等措施，及时杀毒或清除不良信息，并追查不良信息来源。

（3）事态或后果严重的，应向广州市萝岗区城市视频监控系统应急指挥办公室和相关领导汇报。

（4）处置结束后 ,运维服务小组应将事发经过、造成影响、处置结果在调查工作结束后一日内书面报告系统突发故障应急领导小组。

 

2.6 服务器软件系统故障应急预案 

（1）发生服务器软件系统故障后，运维服务小组负责人应立即组织启动备份服务器系统，由备份服务器接管业务应用，并及时报告系统突发故障应急领导小组；同时安排相关责任人将故障服务器脱离网络，保存系统状态不变，取出系统镜像备份磁盘，保持原始数据。

（2）运维服务小组应根据系统突发故障应急领导小组的指令，在确认安全的情况下，重新启动故障服务器系统；重启系统成功，则检查数据丢失情况，利用备份数据恢复；若重启失败，立即联系相关厂商和上级单位，请求技术支援，作好技 术处理。

（3）事态或后果严重的，应向广州市萝岗区城市视频监控系统应急指挥办公室和相关领导汇报。

（4）处置结束后,运维服务小组应将事发经过、处置结果等在调查工作结束后一日内报告系统突发故障应急领导小组。

2.7 黑客攻击事件应急预案 

（1）当发现网络被非法入侵、网页内容被篡改，应用服务器上的数据被非法拷贝、修改、删除，或通过入侵检测系统发现有黑客正在进行攻击时，使用者或管理者应断开网络，并立即报告系统突发故障应急领导小组。

（2）接报告后，系统突发故障应急领导小组应立即指令运维服务小组核实情况，关闭服务器或系统，修改防火墙和路由器的过滤规则，封锁或删除被攻破的登陆帐号，阻断可疑用户进入网络的通道。

（3）运维服务小组应及时清理系统，恢复数据、程序，恢复系统和网络正常；情况严重的，应向广州市萝岗区城市视频监控系统应急指挥办公室和相关领导汇报，并请求支援。

（4）处置结束后 ,运维服务小组应将事发经过、处置结果等在调查工作结束后一日内报告系统突发故障应急领导小组。

2.8 核心设备硬件故障应急预案 

（1）发生核心设备硬件故障后，运维服务小组应及时报告系统突发故障应急领导小组，并组织查找、确定故障设备及故障原因，进行先期处置。

（2）若故障设备在短时间内无法修复运维服务小组应启动备份设备，保持系统正常运行；将故障设备脱离网络，进行故障排除工作。

（3）运维服务小组故障排除后，在网络空闲时期，替换备用设备；若故障仍然存在，立即联系相关厂商，认真填写设备故障报告单备查。

（4）事态或后果严重的，应向广州市萝岗区城市视频监控系统应急指挥办公室和相关领导汇报。

2.9 业务数据损坏应急预案 

（1） 发生业务数据损坏 时，运维服务小组应及时报告系统突发故障应急领导小组，检查、备份业务系统当前数据。

（2）运维服务小组负责调用备份服务器备份数据，若备份数据损坏，则调用磁带机中历史备份数据，若磁带机数据仍不可用，则调用异地备份数据。

（3）业务数据损坏事件超过 2小时后，运维服务小组应及时报告系统突发故障应急领导小组，及时通知业务部门以手工方式开展业务。

（4）运维服务小组应待业务数据系统恢复后，检查历史数据和当前数据的差别，由相关系统业务员补录数据；重新备份数据，并写出故障分析报告，在调查工作结束后一日内报告系统突发故障应急领导小组。

2.10 雷击事故应急预案 

（1） 遇雷暴天气或接上级部门雷暴气象预警，运维服务小组应及时报告系统突发故障应急领导小组，经请示同意后关闭部分服务器，切断电源，暂停内部计算机部分网络工作。

（2） 雷暴天气结束后，运维服务小组报经系统突发故障应急领导小组同意，及时开通服务器，恢复内部计算机网络工作，对设备和数据进行检查。

（3） 因雷击造成损失的，运维服务小组应会同相关部门进行核实、报损，并在调查工作结束后一日内书面报告系统突发故障应急领导小组。必要时，应向广州市萝岗区城市视频监控系统应急指挥办公室和相关领导汇报。

三、机房动力系统应急处理方案

在机房动力发生异常情况时，动力系统通常可自动切换由备用电池提供机房设备的动力，在发生重大事故或自然灾害而无法短时间内正常恢复机房动力的情况下，启动机房动力系统应急处理流程，采用应急油机发电，确保用户单位网点通信网络能够安全、高效和可靠地运行。具体流程见下图：

当发生长时间停电的动力系统故障时，抢修人员在机房现场实时测试记录备用电池的放电情况，电池放电容量超过40%时，如果动力系统还没有恢复正常供电，就用油机发电为机房提供动力。

动力系统恢复后立即对电池进行均充。一天内发生多次停电，放电容量在50%以下，均充转浮充后，浮充时间不少于24小时。一次停电放电容量在50%~80%时，均充转浮充后，浮充时间不少于48小时。