2個(gè)月前,20:05空蕩蕩的辦公區(qū)
徐璐盯著監(jiān)控屏上跳動(dòng)的告警信息,手指無意識(shí)摩挲著鍵盤邊緣。
半小時(shí)前發(fā)生的歸檔進(jìn)程阻塞事故已經(jīng)解決,但剛進(jìn)公司一個(gè)月不到的小李在故障處理時(shí)誤刪歸檔日志的陰影還在心頭縈繞。
她調(diào)出操作審計(jì)日志,突然聽到身后傳來咖啡杯輕磕桌面的聲響。
“徐姐,這么晚還喝真不怕睡不著嗎?”
劉洋倚在隔斷旁,看著滿屏的ora-00312錯(cuò)誤代碼,“要不要試試我的解壓大法?”
他晃了晃手機(jī),屏幕里面是連連看
徐璐剛要拒絕,目光掃過工位旁積灰的團(tuán)隊(duì)合影——那是三年前容災(zāi)演練成功后拍的,照片里大家舉著“零宕機(jī)”
的錦旗笑得燦爛。
現(xiàn)在錦旗還掛在茶水間,但上次集體活動(dòng)已經(jīng)是半年前了。
“幫我約a區(qū)三樓的會(huì)議室。”
她突然調(diào)出知識(shí)庫文檔,“明天下午三點(diǎn),把上次erp索引丟失的事故分析加進(jìn)材料。”
第二天15:00a315會(huì)議室
投影儀在幕布上投出醒目的標(biāo)題:《那些年我們填過的坑》,副標(biāo)題寫著“數(shù)據(jù)庫故障復(fù)盤故事會(huì)(第一期)”
。
徐璐把馬克筆塞給縮在角落的小李時(shí),發(fā)現(xiàn)對(duì)方眼神有點(diǎn)躲閃,不由反省自己是不是真的這么可怕。
“從我開始吧。”
她點(diǎn)開自己加密的故障日志文件夾,大屏上突然出現(xiàn)五年前的郵件截圖:
————————————
主題:緊急:生產(chǎn)庫控制文件損壞
內(nèi)容:今日凌晨因存儲(chǔ)陣列故障導(dǎo)致所有控制文件丟失,當(dāng)前數(shù)據(jù)庫無法掛載
“當(dāng)時(shí)我剛休完產(chǎn)假。”
徐璐的聲音平靜得像在講別人的故事,“用老控制文件強(qiáng)行open時(shí)觸發(fā)了ora-01578,偏偏備份磁帶機(jī)正在檢修。”
會(huì)議室響起倒吸氣聲。
幾個(gè)老員工交換眼神——這是部門禁忌話題,當(dāng)年因?yàn)檫@個(gè)事故差點(diǎn)丟掉運(yùn)營商大單。
“我抱著筆記本在機(jī)房坐了18小時(shí)。”
她調(diào)出當(dāng)時(shí)手寫的恢復(fù)流程圖,“最后用隱含參數(shù)_allow_resetlogs_rruption打開數(shù)據(jù)庫,然后立刻做全庫邏輯導(dǎo)出。”
劉洋突然舉手:“但oracle官方明確警告過這個(gè)參數(shù)會(huì)”
“會(huì)破壞數(shù)據(jù)一致性。”