銀聯商務分公司生產網絡切換演練實施方案
銀聯商務**公司生產網絡故障
應急預案
第1.1版
銀聯商務網絡室
20**年8月30日
版本控制信息
版本
日期
擬稿和修改
說明
0.00
20**-5-23
王濤
初稿
0.01
20**-5-28
戴小飛
增加部分細節
0.02
20**-6-8
王鋒
增加網控器故障演練
0.03
20**-6-15
王鋒
將內外網交換機故障合并為同類故障
1.0
20**/8/7
王鋒
加入故障現象和故障研判
1.1
20**/8/30
孫毅
補充部分演練的故障現象和故障研判
本文檔中的所有內容為銀聯商務有限公司的機密和專屬所有。未經銀聯商務有限公司的明確書面許可，任何組織或個人不得以任何目的、任何形式及任何手段復制或傳播本文檔部分或全部內容。
目錄
1目的范圍5
2演練目標5
3風險評估5
3.1分公司網絡設備現狀5
3.2風險可控6
4演練實施步驟8
4.1演練時間及參加人員8
4.1.1演練前期準備工作8
4.1.2實施時間8
4.1.3參與人員名單8
4.1.4演練完成后續工作9
4.2演練場景一：生產內網上聯路由器故障9
4.2.1上聯到總公司/當地銀聯網絡的線路出現故障9
4.2.1.1故障現象10
4.2.1.2故障研判10
4.2.1.3演練步驟11
4.2.1.4預期分析12
4.2.1.5結果分析12
4.2.1.6應急處理13
4.2.2上聯到總公司/當地銀聯網絡的設備接口模塊出現故障13
4.2.3上聯到總公司/當地銀聯網絡的設備出現故障13
4.2.3.1故障現象13
4.2.3.2故障研判14
4.2.3.3演練步驟14
4.2.3.4預期分析14
4.2.3.5結果分析15
4.2.3.6應急處理15
4.3演練場景二：交換機故障15
4.3.1主交換機設備故障16
4.3.1.1故障現象16
4.3.1.2故障研判17
4.3.1.3演練步驟17
4.3.1.4預期分析18
4.3.1.5結果分析18
4.3.1.6應急處理19
4.4演練場景三：隔離區防火墻故障20
4.4.1防火墻設備故障20
4.4.1.1故障現象20
4.4.1.2故障研判21
4.4.1.3演練步驟22
4.4.1.4預期分析22
4.4.1.5結果分析22
4.4.1.6應急處理23
4.4.2防火墻與內、外網交換機連接線路（端口）故障23
4.5演練場景四：生產外網下聯路由器故障23
4.5.1外網路由器和商戶間線路故障23
4.5.1.1故障現象23
4.5.1.2故障研判23
4.5.1.3演練步驟24
4.5.1.4預期分析24
4.5.1.5結果分析24
4.5.1.6應急處理25
4.5.2外網路由器設備故障25
4.6演練場景五：網控器切換25
4.6.1主上聯卡故障25
4.6.1.1演練步驟25
4.6.1.2預期分析27
4.6.1.3結果分析27
4.6.1.4應急處理27
4.6.2主電源故障27
4.6.2.1演練步驟27
4.6.2.2預期分析29
4.6.2.3結果分析29
4.6.2.4應急處理29
5附件29
19
1
總則
本預案旨在針對分子公司生產網絡出現故障時，能準確定位故障原因，針對故障原因采取有效措施，短時間內排除故障、恢復交易，最大限度地降低故障對生產造成的影響。
適用范圍
本預案包括分子公司標準架構生產網的所有設備，主要包括：
1.
生產內網上聯路由器故障；
2.
生產內、外網交換機故障；
3.
隔離區防火墻故障；
4.
生產外網下聯路由器故障；
5.
網控器上聯卡及電源故障。
風險評估
3.1
分子公司標準架構網絡拓撲
分子公司網絡設備連接如下圖：
3.2
影響性評估
如上圖所示，分子公司標準架構的內網路由器、內網交換機、隔離區防火墻、外網交換機、網控器等均采用熱備組成設級高可用，單臺設備發生故障時，業務數據流將自動切換到備用設備，生產交易不會出現長時間中斷。
分子公司外網路由器用于與合作商戶接入，當設備出現故障時，需要手動將商戶接入線路切換至備用路由器，存在一定時間的生產交易中斷。
綜上所述，銀聯商務分子公司標準腳骨生產網絡發生單臺設備故障時，可能會對生產系統交易造成影響，但風險總體是可控的。
故障場景
4.1
應急人員
本預案所涉及的應急人員包括：
崗位名稱
人員姓名
運行監控崗
系統支持崗
網絡支持崗
應用支持崗
4.2
場景一：生產內網上聯路由器線路或設備故障
4.2.1
上聯到總公司/當地銀聯網絡的線路出現故障
4.2.1.1
故障現象
監控崗位
故障詳細內容
運行監控崗
通過NETCOOL短信或者監控界面中的紅色告警信息判斷設備故障。
系統監控崗
網絡監控崗
1）
通過遠程telnet
11.172.255.1登陸分公司主路由器，telnet登錄成功。
2）
通過ping11.172.255.1，ping成功。
3）
通過在總公司下聯路由器上ping直連接口11.131.172.2，ping不成功。
4）
通過在總公司下聯路由器上sh
ip
int
brie
顯示該分公司接口為down
down。
應用支持崗
運行監控崗：NETCOOL告警信息如下
如果出現紅色告警，并顯示線路類型：電信線路：總公司-**分公司
無法ping通
線路編號：NA
報障電話：80082810000,則可能該路由器或線路已經出現故障。
網絡運行崗：檢查路由器所有狀態燈，顯示有紅色告警或熄滅。
4.2.1.2
故障研判
監控崗位
故障研判
預期結果
運行監控崗
查看總公司監控機netcool告警界面（https://11.131.249.100:16316/ibm/console）
發現紅色告警，顯示線路類型：電信線路：總公司-**分公司
無法ping通
線路編號：NA
報障電話：80082810000
網絡支持崗
1）
通過遠程telnet登陸故障路由器
命令：telnet
11.**.255.1
2）
通過ping路由器
命令：ping
11.**.255.1
3）
通過在總公司下聯路由器上ping直連接口
命令：ping
11.131.172.2。
4）
通過在總公司下聯路由器上查看接口狀態
命令：sh
ip
int
Serial1/2/0:1
1）
telnet登錄成功。
2）
ping成功。
3）
ping失敗。
4）
顯示Serial1/2/0:1
is
down,line
protocol
is
down。
判斷為：分公司生產內網上聯路由器_CN**RT01001的通訊線路中斷。
4.2.1.3
故障處理步驟
故障處理步驟詳見《銀聯商務**公司生產網絡切換演練實施方案》中對應章節。
4.2.1.4
預期分析
正常情況下，去銀聯/總公司的路由會通過主線路傳輸數據，同時通過cdp能看到與總公司/銀聯的網絡設備鄰接關系，當主線路出現故障后，去總公司/銀聯的路由會切換到備線路工作，通過備線路傳輸數據，不會影響交易。
4.2.2
上聯到總公司/當地銀聯網絡的設備接口模塊出現故障
故障現象類似4.2.1線路故障，故障的研判、故障處理步驟等與4.2.1一致，在此不做贅述。
4.2.3
上聯到總公司/當地銀聯網絡的設備出現故障
首先排除線路的故障，如果確定為上聯路由器設備整機出現故障故障，需要關閉故障路由器上的端口，對設備進行維修或更換。
4.2.3.1
故障現象
監控崗位
故障詳細內容
運行監控崗
通過NETCOOL短信或者監控界面中的紅色告警信息判斷設備故障。
系統監控崗
網絡監控崗
1）
通過遠程telnet登陸故障路由器，telnet登錄失敗。
2）
通過ping路由器，ping不通。
3）
使用console口登陸，登陸失敗。
4）
檢查路由器所有狀態燈，顯示有紅色告警或熄滅。
應用支持崗
運行監控崗：NETCOOL告警信息如下
如果出現紅色告警，并顯示節點11.**.255.1無法獲取分公司生產內網上聯路由器信息則可能該路由器已經出現故障。
網絡運行崗：檢查路由器所有狀態燈，顯示有紅色告警或熄滅。
4.2.3.2
故障研判
監控崗位
故障研判
預期結果
運行監控崗
查看總公司監控機netcool告警界面（https://11.131.249.100:16316/ibm/console）
發現紅色告警，顯示節點11.131.255.1無法獲取**分公司生產內網主路由器信息
網絡支持崗
1）
通過遠程telnet登陸故障路由器
命令：telnet
11.**.255.1
2）
通過ping路由器
命令：ping
11.**.255.1
3）
使用控制線連接到路由器標識有“console”的端口登陸。
4）
檢查路由器狀態燈，顯示紅色告警或熄滅。
SYS/SYS
PWR
正常為綠色，
ACT
正常為綠色閃動；當狀態燈為黃色或紅色時故障
1）
telnet登錄失敗。
2）
ping不通。
3）
console口登陸失敗，無法顯示信息。
4）
路由器狀態燈顯示紅色告警或熄滅。
判斷為：分公司生產內網上聯路由器_CN**RT01001宕機。
4.2.3.3
故障處理步驟
故障處理步驟詳見《銀聯商務**公司生產網絡切換演練實施方案》中對應章節。
4.2.3.4
預期分析
正常情況下，去銀聯/總公司的路由會通過主線路傳輸數據，同時通過cdp能看到與總公司/銀聯的網絡設備鄰接關系，當設備出現故障后，去總公司/銀聯的路由會切換到備線路工作，通過備線路傳輸數據，不會影響交易。
4.3
場景二：交換機故障
下圖為生產內網核心交換機連接圖：
下圖為生產外網核心交換機連接圖：
4.3.1
主交換機設備故障
首先排除線路的故障，如果確定為備用交換機設備整機出現故障故障，需要將備交換機上連接的主機切換到主交換機相應的端口。若確定為主交換機設備整機出現故障，需要將與主交換機互連的上聯主路由器以及其他主機設備切換到備交換機相應的端口上，并觀察備用交換機的工作是否正常。
4.3.1.1
故障現象
監控崗位
故障詳細內容
運行監控崗
通過NETCOOL短信或者監控界面中的紅色告警信息判斷設備故障。
系統監控崗
網絡監控崗
1）
通過遠程telnet登陸故障交換機，telnet登錄失敗。
2）
通過ping
11.**.255.3，ping不通。
3）
使用console口登陸，登陸失敗。
4）
檢查路由器所有狀態燈，顯示有紅色告警或熄滅。
應用支持崗
運行監控崗：NETCOOL告警信息如下
如果出現紅色告警，并顯示節點11.**.255.3無法獲取分公司核心接入交換機信息則可能該交換機已經出現故障。
網絡運行崗：檢查交換機所有狀態燈，顯示有紅色告警或熄滅。
4.3.1.2
故障研判
監控崗位
故障研判
預期結果
運行監控崗
查看總公司監控機netcool告警界面（https://11.131.249.100:16316/ibm/console）
發現紅色告警，顯示節點11.131.255.3無法獲取**分公司生產內網交換機SW1的信息
網絡支持崗
1）
通過遠程telnet登陸故障交換機
命令：telnet
11.**.255.3
2）
通過ping交換機
命令：ping
11.**.255.3
3）
使用控制線連接到路由器標識有“console”的端口登陸。
4）
檢查交換機狀態燈，顯示紅色告警或熄滅。
SYS/SYS
PWR
正常為綠色，
ACT
正常為綠色閃動；當狀態燈為黃色或紅色時故障
1）
telnet登錄失敗。
2）
ping不通。
3）
console口登陸失敗，無法顯示信息。
4）
交換機狀態燈顯示紅色告警或熄滅。
判斷為：分公司生產核心接入交換機_CN**SW01001宕機。
4.3.1.3
故障處理步驟
故障處理步驟詳見《銀聯商務**公司生產網絡切換演練實施方案》中對應章節。
4.3.1.4
預期分析
對于內網核心交換機，正常情況下，交易在主交換機上傳輸數據，當內網備交換機設備故障時，不會影響交易；
當內網主交換機設備出現故障后，HSRP切換到備交換機為ACTIVE，也會引起防火墻的failover主、備切換，交易也將切換到備交換設備工作，通過備防火墻、備交換機的線路傳輸交易數據，影響交易時間40秒左右。
對于外網核心交換機，正常情況下，商戶通過外網路由設備接入進行交易，當外網交換機出現故障后，根據實際外網連接情況分為兩種：
未進行外網改造過的，外網設備沒有全互聯的分公司，所有由該路由器接入的單專線商戶交易中斷；
有進行過外網改造，外網設備有全互聯的分公司，商戶交易可以切換到備交換機上，切換時間約在30～40秒。
4.4
故障場景三：隔離區防火墻故障
4.4.1
防火墻設備故障
兩臺防火墻以Failover方式工作，與內、外網交換機互連。在工作過程中，與主防火墻互連的內外網主交換機的線路（端口）或防火墻的線路（端口）發生故障時，會引起防火墻主備切換。
4.4.1.1
故障現象
4.4.1.2
故障現象
監控崗位
故障詳細內容
運行監控崗
通過NETCOOL短信或者監控界面中的紅色告警信息判斷設備故障。
系統監控崗
網絡監控崗
1）
通過遠程telnet登陸故障防火墻，telnet登錄失敗
2）
通知分公司同事使用console口登陸，登陸失敗。
3）
登陸當前active防火墻，使用show
failover命令查看failover狀態是否發生切換。如發現This
host：Secondary
–
Active，則failover已經發生切換。
應用支持崗
運行監控崗：NETCOOL告警信息如下
如果出現紅色告警，并顯示無法獲取**分公司防火墻信息則可能該防火墻已經出現故障。
網絡運行崗：show
failover狀態圖如下
4.4.1.3
故障研判
監控崗位
故障研判
預期結果
運行監控崗
查看總公司監控機netcool告警界面（https://11.131.249.100:16316/ibm/console）
發現紅色告警，顯示無法獲取**分公司防火墻信息
網絡支持崗
1)
登陸至故障分公司內網交換機SW1，telnet
10.**.33.5,登陸成功后使用命令show
failover查看已經發生切換，備機已經接管成為Active狀態
2)
telnet
10.**.33.6至當前備份防火墻，登陸失敗
3)
通知分公司同事使用console線登陸故障防火墻（該防火墻failover的active燈滅），登陸失敗
Failover已經切換至備份防火墻，telnet/console登陸方式都無法登陸
判斷為：分公司核心主防火墻_CN**FW01001設備故障。
4.4.1.4
故障處理步驟
故障處理步驟詳見《銀聯商務**公司生產網絡切換演練實施方案》中對應章節。
4.4.2
防火墻與內、外網交換機連接線路（端口）故障
故障現象與4.4.1防火墻設備故障類似。故障的研判、故障處理步驟等與4.4.1一致，在此不做贅述。
4.5
故障場景四：生產外網下聯路由器故障
4.5.1
外網路由器和商戶間線路故障
對于商戶有主備雙線接入情況下，雙線中單獨一條線路發生故障的場景。
4.5.1.1
故障現象
監控崗位
故障詳細內容
運行監控崗
網管平臺顯示分***分公司生產外網***商戶無法PING通
系統監控崗
網絡監控崗
1、通過遠程telnet登陸商戶接入路由器，PING商戶互聯線路對端IP地址，PING失敗。
應用支持崗
運行監控崗：NETCOOL告警信息如下
如果出現紅色告警，并顯示無法PING通****分公司****商戶地址。
4.5.1.2
故障研判
監控崗位
故障研判
預期結果
運行監控崗
查看總公司監控機netcool告警界面（https://11.131.249.100:16316/ibm/console）
顯示分***分公司生產外網***商戶無法PING通
不同
網絡監控崗
1）
通過ping路由器
命令：ping
11.**.255.７
2）
通過ping路由器直連商戶對端
命令：ping
11.**.255.7
1）
正常
2）
不通
判斷為：分公司網絡區下聯路由器_CN**RT01003連接商戶通訊線路中斷。
4.5.1.3
故障處理步驟
故障處理步驟詳見《銀聯商務**公司生產網絡切換演練實施方案》中對應章節。
4.5.1.4
預期分析
正常情況下，商戶由外網路由器接入銀商網絡進行交易路由，當外網路由器設備故障時，所有與該路由器設備連接的單線路商戶，交易中斷。
4.5.2
外網路由器設備故障
故障現象與4.5.1防火墻設備故障類似。故障的研判、故障處理步驟等與4.5.1一致，在此不做贅述。
4.6
故障場景五：網控器故障
4.6.1
主上聯卡故障
4.6.1.1
故障現象
監控崗位
故障詳細內容
運行監控崗
網管PING臺顯示***分公司網控上聯卡無法PING通
系統監控崗
網絡監控崗
登陸分公司內網交換機，無法PING通分公司網控上聯卡IP地址。
應用支持崗
運行監控崗：NETCOOL告警信息如下
如果出現紅色告警，并顯示無法PING通****分公司網控上聯卡IP地址。
4.6.1.2
故障研判
監控崗位
故障研判
預期結果
運行監控崗
查看總公司監控機netcool告警界面（https://11.131.249.100:16316/ibm/console）
顯示分***分公司上聯卡無法PING通
不通
網絡監控崗
通過ping分公司NAC
上聯卡
命令：ping
11.**.4.*
不通
判斷為：分公司網控器主上聯卡通訊中斷。
4.6.1.3
故障處理步驟
故障處理步驟詳見《銀聯商務**公司生產網絡切換演練實施方案》中對應章節。
4.6.1.4
預期分析
此切換操作不會造成交易中斷。
4.6.2
主電源故障
4.6.2.1
故障現象
監控崗位
故障詳細內容
運行監控崗
網控器主電源指示燈熄滅；
系統監控崗
網絡監控崗
登錄Hypercomview客戶端，觀察到網控器電源告警日志
應用支持崗
判斷為：分公司網控器主電源故障。
4.6.2.2
故障研判
監控崗位
故障研判
預期結果
運行監控崗
查看網控器主面板，發現主電源指示燈熄滅
指示燈熄滅
網絡監控崗
登錄Hypercomview客戶端，觀察到網控器電源告警日志，發現日志告警
出現紅色的電源告警
4.6.2.3
故障處理步驟
故障處理步驟詳見《銀聯商務**公司生產網絡切換演練實施方案》中對應章節。
4.6.2.4
預期分析
此故障不會造成交易中斷。
5
附件
《銀聯商務**公司生產網絡切換演練實施方案》
篇2：酒店電腦電話網絡設施故障處理規程
酒店電腦、電話、網絡設施故障處理規程
到場時間要求：接到設備、設施故障通知，維修人員應在5分鐘內趕到現場維修。
故障處理要求：當班人員應保持頭腦冷靜，查看必要的線路圖及有關設備說明，縮小故障范圍，確準故障原因，方可著手維修。在重大故障未能排除之前，不得交接班，并對維修情況做記錄。
執行規范要求：在維修過程中，嚴格執行電腦、電話、網絡系統維修操作規范。
工作質量要求：維修的設備、設施應達到電腦、電話、網絡維修工作制定的質量要求。
篇3：人民醫院網絡故障應急措施
人民醫院網絡故障應急措施
一、當科室操作人員在使用系統時發現訪問數據庫速度遲緩、不能進入相應程序、不能保存數據、不能進行網絡拷貝、要檢索數據時較長時間沒有反應等情況，應立即向計算機中心匯報。
二、計算機中心接到科室操作人員信息后，應立即展開調查，先通過自己工作站試驗是否存在相同情況，或查證是否有數據庫鎖表情況、查證是否數據服務器空間已滿。
三、當這些軟件情況都被排除以后，進入機房看交換機指示燈是否全部不再閃動，或閃動很慢，若是則基本上可以斷定是網絡存在問題，這時安排一個人專門打電話通知相關科室關機及對科室來電做解釋工作。
四、采用排除法（限于醫院網絡還是二層結構，沒有相應的網絡偵測軟件），先將與交換機相連的雙絞線逐一拔出，同時觀察交換機指示燈是否閃動正常，逐一拔出除服務器的所有連接終端，若仍不能解決問題，則去拔門診樓的光纖接口，再不通則拔住院樓的光纖接口，一般到此完全可以排除是由哪條線影響到網絡速度，先隔離開這條網線讓其他用戶先使用網絡。所需時間大約需要5分鐘左右。
五、若發現是由門診樓光纖影響，則通知門診系統轉入單機收費，計算機中心人員應到門診交換機處采用同樣排除法逐個拔雙絞線，直到找出是由哪條線路影響到整個網絡。網絡恢復后，各單機系統將數據上載到網絡服務器。時間大約8分鐘
六、若發現是由住院樓光纖影響，則通知住院科室暫時不要使用系統，急需藥品先手工到中心藥房借藥，同樣采用排除法找出是由哪條線路影響網絡速度。時間大約8分鐘
七、找到影響網絡速度的終端工作站，將該工作站關機三分鐘，再開機。發生問題的主要原因是由于這臺工作站在不停發送數據包給服務器，一直得不到服務器響應，所以一直發包，直到把所有的網絡資源全部耗盡。
八、通過這種方法，我們一般可以在15分鐘以內解決各種網絡故障，并對經常發生網絡阻塞的工作站，采用更換更好的網卡、更換連接的HUB，現在發生頻率由以前每周3次降為3個月都不足1次。
九、若在15分鐘不能解決問題，應上報到信息科長，同時告知各病區、科室出現問題的簡要情況及解決方案，30分鐘內仍不能解決問題，應上報到醫院院長，同時通知門診與臨床業務將轉入手工運作，直至網絡恢復。
十、計算機中心應時常與硬件網絡集成商保持較好的聯系，一旦出現交換設備或光纖線路損壞，能及時通知他們以最快速度趕來救援，同時做好線路備份工作。