01. 場景簡述

使用WeOps服務(wù)撥測+告警，取代了原人工巡檢方式，實現(xiàn)即時查看內(nèi)部銀行前置機(jī)與各銀行的業(yè)務(wù)服務(wù)連接狀態(tài)，一旦出現(xiàn)網(wǎng)絡(luò)連接異常，兩分鐘內(nèi)發(fā)出告警通知，幫助運(yùn)維早于業(yè)務(wù)發(fā)現(xiàn)問題，變被動響應(yīng)為主動處置，從而減小對業(yè)務(wù)的影響。

02. 故事背景

資金管理系統(tǒng)是財務(wù)公司最重要的業(yè)務(wù)系統(tǒng)，由銀企直連系統(tǒng)①（簡稱：銀企系統(tǒng)）、網(wǎng)絡(luò)金融服務(wù)系統(tǒng)（簡稱：網(wǎng)銀系統(tǒng)）等多個子系統(tǒng)組成。

銀企系統(tǒng)通過內(nèi)部的銀行前置機(jī)，利用專線與各家銀行對接，中間涉及內(nèi)部網(wǎng)絡(luò)設(shè)備、專線網(wǎng)絡(luò)以及對端的銀行網(wǎng)絡(luò)設(shè)備三個部分，如果中間某個環(huán)節(jié)網(wǎng)絡(luò)出現(xiàn)問題，將直接導(dǎo)致銀企系統(tǒng)功能不可用。令該財務(wù)公司運(yùn)維團(tuán)隊頭痛的是：如何端到端對專線的可用性進(jìn)行監(jiān)測，曾經(jīng)嘗試過手工登錄到前置機(jī)，利用telnet命令檢查的方法，但由于以下兩個問題被棄用。

• 各家銀行使用的通訊端口不同（例如：農(nóng)行 TCP14031/14029，中行/民生銀行 TCP 443，交通銀行 TCP9003 等），手工對線路連通性檢查繁瑣，每次耗時20分鐘以上；
• 手工檢查時效差，無法第一時間發(fā)現(xiàn)故障，通常業(yè)務(wù)報障才發(fā)現(xiàn)，運(yùn)維陷入被動；

過往發(fā)生過相關(guān)故障，業(yè)務(wù)部門投訴無法在銀企系統(tǒng)上完成對農(nóng)行的轉(zhuǎn)賬，IT運(yùn)維緊急聯(lián)系運(yùn)營商，最終定位到是農(nóng)行的網(wǎng)絡(luò)設(shè)備老化，對端的接口連接狀態(tài)出現(xiàn)異常。業(yè)務(wù)受影響長達(dá)2個多小時，IT被記過處分。

備注①：銀企直連系統(tǒng)是利用運(yùn)營商專線，使企業(yè)的財務(wù)系統(tǒng)與銀行綜合業(yè)務(wù)系統(tǒng)實現(xiàn)對接，企業(yè)無需專門登錄網(wǎng)上銀行，就可以利用自身財務(wù)系統(tǒng)自主完成對其銀行賬戶包括分(子)公司銀行賬戶的查詢、轉(zhuǎn)賬、資金歸集、信息下載等功能，并在財務(wù)系統(tǒng)中自動登記賬務(wù)信息，免去了以往財務(wù)系統(tǒng)、網(wǎng)銀系統(tǒng)兩次指令錄入的過程，提高了工作效率，確保了財務(wù)系統(tǒng)與銀行綜合業(yè)務(wù)系統(tǒng)賬戶信息的一致性。

03. WeOps應(yīng)對及效果

用WeOps服務(wù)撥測+告警，監(jiān)測前置機(jī)到銀行的服務(wù)連接狀態(tài)

① 對所有前置機(jī)批量下發(fā)代理，集中監(jiān)管

② 利用WeOps服務(wù)撥測功能，使用TCP協(xié)議，以各個前置機(jī)為撥測節(jié)點，對各家銀行的服務(wù)端口配置撥測任務(wù)，對連接狀態(tài)的可用性和響應(yīng)時長進(jìn)行實時監(jiān)測

③ 針對“可用性”和“響應(yīng)時長”配置告警，當(dāng)出現(xiàn)“可用性”小于100%、“響應(yīng)時長”超過1s時，產(chǎn)生“致命”告警

④ 相關(guān)告警信息通過郵件和短信方式發(fā)送至指定運(yùn)維同事。

04. WeOps實現(xiàn)效果

1）用簡單的方法解決專線端到端網(wǎng)絡(luò)可用性監(jiān)測的難題

• 即時檢查：通過WeOps服務(wù)撥測，立即查看到當(dāng)前及任一時間段內(nèi)與各銀行服務(wù)端口的連接狀態(tài)，感知專線端到端的網(wǎng)絡(luò)連接情況。
• 及時發(fā)現(xiàn)：一旦網(wǎng)絡(luò)聯(lián)通性出現(xiàn)問題，在兩分鐘內(nèi)推送“致命”告警通知，讓運(yùn)維人員快速察覺故障，主動采取措施處置，加快故障的消除，減小對業(yè)務(wù)影響；

2）場景適用性

該專線連通性監(jiān)測的場景，適用于內(nèi)部核心業(yè)務(wù)系統(tǒng)與外部第三方對接，且對連通性有高要求的企業(yè)，如金融企業(yè)等，WeOps撥測功能，幫助企業(yè)實時監(jiān)測專線可用性，及時發(fā)現(xiàn)異常，縮短對業(yè)務(wù)影響時間。