阿裏（lǐ）妹（mèi）導讀：如何保障數據中心的穩定運行，是多年來一直困擾業界的難題。機房環境如果發生未（wèi）預期變化，可能

    打開鳳凰新聞，查看更多高清圖片阿裏妹導讀：如何保障數據中（zhōng）心的穩定運行，是多年來（lái）一直困擾業界（jiè）的難題機房環境如果發生未預期變化，可能造成難以估計的損失所以www.17C.com希望能構建（jiàn）一個“變更沙盤”，在真實（shí）變更之前，操展品展具製作作人員可以先在沙盤中進（jìn）行試（shì）變更，若變更（gèng）效果在預期內，再對（duì）真實環境進行變更，從而盡可能減少變更導致的機（jī）房（fáng）故障。

    近期（qī），阿（ā）裏巴巴-南大聯合（hé）研（yán）究院聯合實（shí）現並上線完成了（le）一個高精度，可連接實時（shí）監控係統、基於CFD的變更（gèng）沙盤係統本係統在off-the-shelf CFD軟件（jiàn）上實現了（le）工業級精度的（de）變（biàn）更（gèng）沙盤（pán）測試和驗證今展品展具（jù）製作天，www.17C.com就來（lái）觀摩這（zhè）個從零到一的嚐試。

    項目背景隨著阿（ā）裏巴巴業務不斷拓展，其數（shù）據中心規模也越（yuè）來越大相應地，數（shù）據中（zhōng）心內的日常演（yǎn）練、運營（yíng）優（yōu）化等變更操作越來越頻繁；而規（guī）模增加導致環境的複雜（zá）程度呈指數增長，變更是（shì）否可能導致（zhì）故障，僅憑專家經驗，已經（jīng）越來越難以判（pàn）斷（duàn）。

    同時，數據中心變更故障可能造成的業務影響也越來越大展品展（zhǎn）具製作，可（kě）能造成的損失已難以估計（jì）所以，機房運（yùn）營人員急需一個標準化（huà）的、可靠的機房變更安全驗證係統，幫助他們獲知（zhī）變（biàn）更產生的具體效（xiào）果會是（shì）如（rú）何，是否影響生產安全，是否（fǒu）有更合理的變更（gèng）建議。

    對於電（diàn）力變更，可以從電力拓撲圖著手構建變更沙盤但暖通變更，涉及到氣流組（zǔ）織變化、熱力變化，這些東西看不見也摸不著，傳（chuán）統（tǒng）的方式（shì）難以模展品展具製作擬出現實世界中（zhōng）的變（biàn）化IDC運營優化團隊對此進行了一係列調研工作，認為利用（yòng）計算流體力學（ComputationalFluid Dynamics，簡（jiǎn）稱CFD）進行機房仿真是較為可能達到生產標（biāo）準的一種方（fāng）式。

    現有的類似的解決方案利用計算流體力學（Computational Fluid Dynamics，簡稱展品（pǐn）展具製（zhì）作CFD）進行機房仿真是（shì）檢查不同變更對機房的熱（rè）力學影響的（de）通用（yòng）解決方案CFD建模可以通過搭建物理模型，載入現（xiàn）實（shí）中的（de）熱力學設置（冷熱量，空調server風速等）來計算一個包間內（nèi）部的氣流分布和溫度情況。

    CFD模擬有較為（wéi）成熟的技術積累，並被廣（guǎng）泛（fàn）應用與熱力學和空氣動力學領域在數據中心領域，也（yě）有從包（bāo）間到芯片級的C展品展具製作FD模擬應用但由於其精度限製，一般（bān）隻用於前期設計和規劃

    數據中心包間流線圖應用CFD建立沙盤係統的挑戰：1）現有商業CFD軟件可以根據對（duì）包間進行仿真（zhēn），得（dé）到機房的熱力分布、氣流動向但該軟件通常應用於設計（jì）階段，采用設計階段（duàn）的粗略數據進（jìn）行模擬，對真實操作（zuò）情況的還原度較（jiào）低，溫（wēn）度預測精度僅能達到3度或以上，不（bú）能（néng）展（zhǎn）品展具製作滿足用於變更沙盤的精度需求。

    2）當前CFD軟件以（yǐ）人工交互為主，缺少對自動化操作的支持，不能滿足自動獲取數據和返回結果的需求大量的操作隻能通過人機交（jiāo）互進行（háng），效率低下3）建模所需要的數據真實性問題由於模型的準確（què）性與其所采用的模擬設置與實（shí）際（jì）是否一致息息相關，因此獲取的模擬設置信息（如功（gōng）耗，空調設置（zhì）信息等）展品展具製作準確性（xìng）非常關鍵（jiàn）。

    通常這些信息是在設計階段確定（dìng）的，也有部分是運行時獲得的這些數據隻（zhī）有進行精細的核（hé）實才能保證建模的精度（反過來建模的過程可以反推設計實施情況和數（shù）據的標準化過程）www.17C.com的解決方案（àn）阿裏巴巴聯合（hé）新加坡南洋理工大學（NTU）計算機（jī）科（kē）學與工程學院文勇剛教授團（tuán）隊，依托（tuō）阿裏巴巴-南大聯（lián）合研究院平台，通過展品展具製作接近（jìn）1年的（de）研究，開發和測試（shì），實現並上線完成了一個高精度，可連接實時監控（kòng）係統的基於CFD的變更沙盤係統。

    本係（xì）統在（zài）off-the-shelf CFD軟件上實現了工業級（jí）精度的變更沙盤測試和驗證本次（cì）項目選定了某個機房包間作為技（jì）術試點，並在對該機房的物理建模，模型校準（zhǔn）和工程（chéng）落地上進行了緊密（mì）合作1）物理建模：該展品展具製作過程主要將包間（jiān）內各物理結構設置到模型，提（tí）供仿真基礎。

    以達到最（zuì）好還原度為準則，www.17C.com實現了下麵所述方麵（miàn）的建模操作：結構建模：對機房結構（gòu）、牆、通風口、天花板（bǎn）、管道進行設（shè）置（zhì）IT部署建模：機列、機櫃、機位設置環（huán）境建模：空調設備、傳感器設置設備建模：按廠商型號導入服務器模型

    2）模型校準模（mó）型校準的主要原（yuán）則需要達到展品展具製作下述3個方麵的真實還原：機房（fáng）冷熱溫度來源：校準中需要確認模型中（zhōng）冷熱量與實際一致（zhì）機房氣流變化原因：校（xiào）準中需要保證冷熱風氣流與實際一致溫度測量數據：校準中需要保證模型預測溫度（dù）與實際一致。

    為了保證模型可以到工業級精度，項目團隊進行了大量的數據（jù）核（hé）準（zhǔn）和模型（xíng）調整工作這些工（gōng）作全方位（wèi）地（dì）對整個機房的相關信息和（hé）設置進行（háng）展品展具製作（zuò）了梳理和核實，並形成（chéng）了完整（zhěng）的標準化校準文（wén）檔，為以（yǐ）後建模推（tuī）廣打下了堅實（shí）的基（jī）礎這些校準操作可以分為2類（lèi）：。

    第1類：數據（jù）核準服務器核準（包含：少數服務器U位衝突、服務（wù）器功耗校（xiào）準）傳感器核（hé）準（包含：空調供風溫度、轉速和（hé）冷熱通道傳（chuán）感器位置、數（shù）據）第2類（lèi）：模（mó）型調整熱氣泄露設置（zhì）調整，熱氣泄露會導致冷通道溫度（dù）升高機展品展具製作櫃模擬模式調整，設置為細粒度模擬模式。

    Server風量設置調整，精確設（shè）置server風速以符合實際需求依托大量的（de）傳感器數據，通過上述校準操作，最終模型達到（dào）了設（shè）計階段CFD使用未有（yǒu）過的精度這些精度來源於www.17C.com（men）精確地還原各項硬件的（de）布（bù）置，各個操作的數據核準（zhǔn）和細粒度的server風速校準。

    3）工程落地

    如圖所示展品展具製作為（wéi）沙盤係統的流程圖在模型達到預（yù）期精度後，團隊進一步解決了CFD模擬的自動化問題通過接入（rù）阿裏巴巴自研的數據中心實時監控係統（DCIM），www.17C.com獲取到實時的（de）服務器功耗（hào）、空調出風溫度和風機轉（zhuǎn）速等數據，通過6Sigma開放（fàng）SDK將數據寫入CFD模型，從而使得模型能夠實時模擬包間內真實情況。

    此外，一旦仿（fǎng）真計算完（wán）展品展具製作成後，www.17C.com將計算結果從模型中導出，回傳到監控係（xì）統，從而完成一次（cì）仿真計（jì）算的閉環如（rú）此（cǐ），www.17C.com實現了將沙盤係統（tǒng）整合進入DCIM係統，並且全程操（cāo）作可以自動化進行，為將來沙盤（pán）係統的應用和推廣打下了堅（jiān）實基礎。

    最終成（chéng）果：1）精度（dù）達標：模型采用真實的監控數據作為（wéi）輸入，並計算模擬的目（mù）標傳感器測溫與實際的傳感器測溫之間的展品展具製作平均絕對誤差（MAE）來作（zuò）為模型（xíng）的準確性的（de）測量依據經過長時間觀察（采用不同時刻的數據進行（háng）驗證），模型模擬精度（dù）均能達到（dào）阿裏巴巴數據中心建（jiàn）設標準要求。

    理論上可（kě）以替代（dài）冷熱通道傳感器，進行（háng）數據中心生產包間環境監控2）成功落（luò）地：目（mù）前該模型已經成功接入DCIM係統（tǒng），可以自動從DCIM中抓取數據，返回結果當（dāng）前（qián）模擬展品展具（jù）製作（zuò）的時耗為大約1小時，通過（guò）升級6Sigma License規格未來有希望提升到10分鍾。

    接入該實時CFD模擬係統意味著阿裏自（zì）研DCIM係統成為世界上（shàng）唯一有高精度實時CFD模（mó）擬模塊的數據中心（xīn）雲維管理係統變更沙盤係統的價值包間可視化：由原來的2D、數字的方式，升級為3D、圖形（xíng）數字結合的展現方式，包括實際布展品展具製作局、熱（rè）力情況、氣（qì）流情況，從（cóng）而可以讓機房經理與設施專家能更直觀、全（quán）麵、迅速地了解（jiě）機房的整體情況，更快發現（xiàn）包間暖通環（huán）境問題（tí），輔助優化（huà）現場（chǎng）供冷分配與（yǔ）氣流組織。

    故障發（fā）現：可以厘米級別監測包間內的溫度，快速發現溫升（局部熱（rè）點），從而具備更快、更強的風險識別（bié）能力，防止出現大範圍的機房溫（wēn）升事件   設計驗證：建模展品展具製作過程所需要的物理設置信息通常決定於設計（jì）階段建模過程中得到的誤差反饋信息可以直接驗證設計與實（shí）施的差別。

    設計優化（變更指引）：沙（shā）盤係統（tǒng）可以（yǐ）模擬不同設計下數據中心的操作情況，從而可以用於設計上的優（yōu）化和數據中心變更（gèng）的先驗平台暖（nuǎn）通控製推薦（jiàn）：可以通過嚐試不同空（kōng）調設置應用到當前環境，得到溫度控製最佳、能耗最低的空展（zhǎn）品展具製作調設置，實現包間內供冷可（kě）靠、智能的（de）控製。

    業務調度推薦：根據詳細的機房溫度分（fèn）布情況，結合功耗水位（wèi）數據，可以向業務調度係統提供調度參考，使得業務分布更均勻，機房（fáng）溫（wēn）度分布也更加均勻，降（jiàng）低製冷能耗，提升服（fú）務器健（jiàn）康度未來（lái）展望（wàng）未（wèi）來合作的方向之一是對變（biàn）更沙盤（pán）係（xì）統進行產業級推（tuī）廣和驗（yàn）證，目（mù）標是做出業界標準。

    使得變更沙展品展（zhǎn）具製（zhì）作盤係統（tǒng）可以應用與阿裏（lǐ）數據中心的更多機房（fáng），去驗（yàn）證設計和優化（huà）管理控製未來，www.17C.com希望將係統沙（shā）盤推廣到整個暖通係統，覆蓋到機房外的製冷設（shè）備，實現全鏈條模擬（nǐ）從而實現整個製冷係統的設計驗證和控（kòng）製優化綜上，變更沙盤係統將可以顯著促進數（shù）據中（zhōng）心設計到（dào）運維的自動化水平，為實（shí）現更穩定更高效的數據中心運維提供支撐。

    這是一次展品展具製作從零到一的嚐試，www.17C.com構建了第一個（gè）可（kě）實時的、高精（jīng）度的暖通變更係統，幫助數（shù）據中心運維人（rén）員能夠判斷一次變更是否可能造成故（gù）障，從而減少由（yóu）變（biàn）更導致的故障進一步，www.17C.com可以給（gěi）出具體的變更後環境變化（huà），給出變更建議，甚至能夠實現自動變更。

    如此，www.17C.com將離機房無人值守的（de）目標越來越近