深圳市穹明科技有限公司
新聞資訊

不吹不黑!年均PUE 1.1的百度首個自建超大型數(shù)據(jù)中心是什么水平?

2018-10-10   作者:admin



在百度上搜索“百度”會搜到什么,搜索、網(wǎng)盤、地圖、百科、知道、圖片等等,這些C端的應(yīng)用構(gòu)成了普通用戶對百度的固有印象,但少有人了解,支撐百度等大型互聯(lián)網(wǎng)公司數(shù)以億計用戶使用的C端應(yīng)用背后,互聯(lián)網(wǎng)數(shù)字底層基礎(chǔ)設(shè)施不啻于另一條更激烈的競爭賽道,這其中遍布全國甚至全球的數(shù)據(jù)中心是最重要的一環(huán)。




百度第一個自建數(shù)據(jù)中心位于李彥宏老家山西陽泉,命名為百度云計算(陽泉)中心,園區(qū)占地約360畝地,總建筑面積約12萬平方米,包括8個高標(biāo)準(zhǔn)模組,我們走進(jìn)了百度云計算(陽泉)中心,獲悉百度甚少展示的另一面。



PUE 1.1如何煉成?

出北京沿京昆高速一直走,經(jīng)過保定、石家莊即到山西陽泉,從地理位置、氣候條件、網(wǎng)絡(luò)設(shè)施和電價等因素上考量,陽泉不是傳統(tǒng)意義上受青睞的數(shù)據(jù)中心選址地,百度第一個自建超大型數(shù)據(jù)中心定在此地很大程度是因為陽泉為李彥宏老家。

不過這并不是唯一的因素。一方面,技術(shù)的演進(jìn)擴(kuò)大了數(shù)據(jù)中心的選址范圍,減少了對一些硬性指標(biāo)的需求,陽泉的各項條件整體過硬;另一方面,由于李彥宏的緣故,陽泉并不失為最適合百度的數(shù)據(jù)中心選址。

PUE(數(shù)據(jù)中心總設(shè)備能耗/IT設(shè)備能耗,越接近1表明能效越高)是數(shù)據(jù)中心領(lǐng)域衡量能源效率的權(quán)威指標(biāo),記者了解到,百度云計算(陽泉)中心單模組PUE低至1.1,1.1是什么概念?

目前國內(nèi)PUE比較低的數(shù)據(jù)中心大多在1.3以下,之前參觀的大多較為先進(jìn)的數(shù)據(jù)中心也是這個水平,在國內(nèi)PUE在1.2左右的數(shù)據(jù)中心表現(xiàn)已經(jīng)算很不錯。坦白說,聽到百度陽泉數(shù)據(jù)中心整體年均PUE是1.1時,我們還是有一些懷疑的。其一,陽泉沒有特別得天獨厚的的氣候條件,其二,其他不少頂級互聯(lián)網(wǎng)公司的數(shù)據(jù)中心PUE也沒有到這個水平,何況PUE 1.1是百度陽泉數(shù)據(jù)中心單模組年均水平,而不是最低值。


百度云計算(陽泉)中心負(fù)責(zé)人、百度系統(tǒng)部高級經(jīng)理顧鵬



如建筑圖所示,百度云計算(陽泉)中心整體外觀設(shè)計既可以說是百度的經(jīng)典熊掌標(biāo)志,也可以視作一個綠色節(jié)能的燈泡樣式,和百度云計算(陽泉)中心的文化衫映襯,8個模組示例特別用了綠色,這些小細(xì)節(jié)也體現(xiàn)出百度技術(shù)文化。

在實地探訪過程中,百度數(shù)據(jù)中心負(fù)責(zé)人顧鵬告訴雷鋒網(wǎng),百度云計算(陽泉)中心能做到1.1的PUE主要包括兩點,一個是電氣架構(gòu)的改變,一個是空調(diào)末端的改變,另外配合高溫服務(wù)器和調(diào)優(yōu)等措施使PUE低至1.1。


百度陽泉數(shù)據(jù)中心機(jī)房



在電氣架構(gòu)層面,傳統(tǒng)數(shù)據(jù)中心的建設(shè)基本上采用雙路UPS的設(shè)計,現(xiàn)在越來越多的新建數(shù)據(jù)中心采用電力效率更高的架構(gòu)。如上圖所示,電力架構(gòu)的改變帶來的是電源效率的層層提升,PUE在1.2和1.3左右的數(shù)據(jù)中心很多采用市電+HVDC在線、市電+UPS ECO架構(gòu)。

早在2010年,百度M1數(shù)據(jù)中心就率先在國內(nèi)使用了一路市電+一路UPS架構(gòu),效率能達(dá)到95%。百度在陽泉數(shù)據(jù)中心采用了四種架構(gòu),市電+UPS、市電+HVDC在線、市電+UPS ECO、市電+HVDC離線,也體現(xiàn)了其電氣架構(gòu)經(jīng)歷的四代改進(jìn),從二期項目開始采用的都是電源效率高達(dá)99.5%的市電+HVDC離線架構(gòu),也是數(shù)據(jù)中心行業(yè)內(nèi)世界首例采用這種供電架構(gòu)的數(shù)據(jù)中心。

了解到,所謂離線(Offline),是指正常情況下市電直供IT設(shè)備,HVDC僅為蓄電池提供浮充,市電中斷后,轉(zhuǎn)由蓄電池供電,在這種架構(gòu)下,正常情況為IT設(shè)備供電的電能不經(jīng)過HVDC轉(zhuǎn)換,此部分損耗幾乎可以忽略,因此節(jié)能效果顯著。

“打個比方說,我們原先如果100度電,可能實際上有10度電是由UPS損耗掉了,但是現(xiàn)在我們只有0.5度電被損耗,所以效率還是相當(dāng)高的”,顧鵬說道。不過離線架構(gòu)要求定制IT設(shè)備電源,所以百度陽泉數(shù)據(jù)中心基本上都采用的是整機(jī)柜服務(wù)器。


水冷背板機(jī)柜

百度陽泉數(shù)據(jù)中心的另一個節(jié)能大改進(jìn)在于暖通架構(gòu),據(jù)顧鵬介紹,陽泉數(shù)據(jù)中心采用了高溫服務(wù)器及新型的氣流組織結(jié)合的零功耗的新型空調(diào)末端,充分利用了天然的冷源,冷卻模式分為機(jī)械制冷、預(yù)冷和自然冷卻三種模式,陽泉數(shù)據(jù)中心全年免費冷卻能達(dá)到96%,相當(dāng)于每年全部用冷機(jī)的時間只有兩周,即三百多個小時,剩下的大部分時間都是免費冷卻狀態(tài)。

百度陽泉數(shù)據(jù)中心采用水冷精密空調(diào)(CRAH)、AHU、OCU和IDEC這四種空調(diào)末端形式,經(jīng)過不斷實踐,陽泉數(shù)據(jù)中心5個模組采取了OCU制冷模式。

百度自研置頂冷卻單元OCU(Overhead Cooling Unit)新型空調(diào)末端,與預(yù)制模塊技術(shù)結(jié)合,冷卻模塊垂直安裝在機(jī)架上方,空調(diào)末端無風(fēng)扇、零功耗,利用空氣對流原理,抽走“熱通道”熱空氣的同時,送出冷空氣給“冷通道”;AHU(Air Handle Unit)風(fēng)墻冷卻技術(shù),通過與高溫耐腐蝕服務(wù)器配合,采用全新氣流組織方案,解決了空氣污染及腐蝕難題;IDEC即間接風(fēng)側(cè)制冷,抽取室內(nèi)空氣和部分新風(fēng)以控制出風(fēng)溫度和風(fēng)量來維持室內(nèi)溫度。

除此之外還了解到,傳統(tǒng)服務(wù)器要求環(huán)境溫度為5~35℃,服務(wù)器一般運行在25℃左右,百度特別研究的高溫服務(wù)器耐溫設(shè)計高達(dá)45℃,從而大幅提高自然冷卻時間。




百度AI時間



自2017年7月5日百度開發(fā)者大會起,百度正式進(jìn)入了AI時間。“百度將All in AI,我們在AI時代的核心戰(zhàn)略就是開放賦能,我們的將來必須建立在與每個開發(fā)者共贏的基礎(chǔ)上”,李彥宏彼時如是說。

陽泉數(shù)據(jù)中心是百度AI的一個重要底座,8個模組滿載可容納16萬臺服務(wù)器,記者了解到,百度陽泉數(shù)據(jù)中心已經(jīng)承載了百度的搜索、地圖、網(wǎng)盤、人工智能、智能云、自動駕駛等技術(shù),每天數(shù)據(jù)處理量近100PB,百度陽泉數(shù)據(jù)中心提供著AI訓(xùn)練所需的大量計算能力。

顧鵬表示,百度GPU集群針對大數(shù)據(jù)、人工智能等場景設(shè)計,廣泛應(yīng)用于語音、圖象、搜索、無人車、加速計算等業(yè)務(wù),百度率先采用引入深度學(xué)習(xí)和異構(gòu)計算集群,成為百度大腦的動力引擎。



百度陽泉數(shù)據(jù)中心液冷機(jī)柜



百度X-MAN2.0服務(wù)器就部署在陽泉數(shù)據(jù)中心,用于加速云端人工智能訓(xùn)練,X-MAN2.0服務(wù)器為百度自研的AI計算機(jī),實現(xiàn)了GPU和CPU資源物理解耦按需配比,更是全球首個將液冷技術(shù)應(yīng)用到高功耗AI計算系統(tǒng)中的實例,能夠提升45%的散熱效能。

百度陽泉數(shù)據(jù)中心不僅提供AI基礎(chǔ),自身也在實踐AI。顧鵬表示,陽泉數(shù)據(jù)中心在實現(xiàn)自動化的基礎(chǔ)上,已經(jīng)在向智能化進(jìn)行轉(zhuǎn)化,陽泉數(shù)據(jù)中心全部采用無紙化智能巡檢,將相關(guān)數(shù)據(jù)上傳到遠(yuǎn)端電腦,專家系統(tǒng)通過對現(xiàn)場運行數(shù)據(jù)分析來保障系統(tǒng)穩(wěn)定性。

百度把AI技術(shù)引入了數(shù)據(jù)中心,通過建立數(shù)據(jù)中心深度學(xué)習(xí)模型,比如冷水機(jī)組三種模式的運行就通過AI自動判斷,根據(jù)室外天氣濕度、溫度和負(fù)荷,切換制冷模式、預(yù)冷模式和節(jié)約模式,此外AI還能實現(xiàn)智能預(yù)警,通過負(fù)載預(yù)判設(shè)備運行情況,給出維護(hù)策略。

“AI的智能化是后續(xù)數(shù)據(jù)中心運營的一個方向,最終將實現(xiàn)無人值守”,顧鵬表示。

綠色是百度陽泉數(shù)據(jù)中心的另一個標(biāo)簽,百度陽泉數(shù)據(jù)中心充分利用了模組屋頂剩余空間,安裝太陽能電池板,光伏發(fā)電即發(fā)即用,陽泉數(shù)據(jù)中心也是國內(nèi)首個應(yīng)用光伏發(fā)電的數(shù)據(jù)中心,陽泉數(shù)據(jù)中心還大量采用風(fēng)電清潔能源?!?017年百度陽泉數(shù)據(jù)中心的風(fēng)能和太陽能一共將近用了2600萬度,占比整個用電量的16%,2018年使用風(fēng)能和太陽能可以達(dá)到5500萬度,預(yù)計占比可能達(dá)到23%以上”,顧鵬介紹道。

百度陽泉數(shù)據(jù)中心還采用了污水回收再利用技術(shù),數(shù)據(jù)中心既是耗電大戶,也是耗水大戶,百度將排污進(jìn)行收集,應(yīng)用超濾和反滲透技術(shù),除去水中的氯鈉鈣鎂等離子,顧鵬表示,污水回收系統(tǒng)全部投產(chǎn)以后,每年的回收能達(dá)到48萬噸水的量,相當(dāng)于四千戶家庭一年的用水量。



百度陽泉數(shù)據(jù)中心鋰電池機(jī)柜



百度陽泉數(shù)據(jù)中心可以說是整機(jī)柜服務(wù)器數(shù)據(jù)中心,約96%服務(wù)器均采用了百度北極2.0整機(jī)柜服務(wù)器,北極2.0采用了共享電源和風(fēng)扇的架構(gòu),供電實現(xiàn)標(biāo)準(zhǔn)化、模塊化、一體化,總成本降低了15%左右,北極2.0自研服務(wù)器平均每臺耗電量比普通的服務(wù)器下降的12%,交付率提升了20倍,每天交付能達(dá)到一萬臺左右,傳統(tǒng)服務(wù)器一天最多交付數(shù)百臺。

陽泉數(shù)據(jù)中心的參觀讓我們見識到一個數(shù)據(jù)中心上的百度,也可以說AI上的百度。當(dāng)然了,陽泉數(shù)據(jù)中心新建時百度還沒有完全轉(zhuǎn)向AI,還是“移動優(yōu)先”,不過正如百度新戰(zhàn)略“夯實移動基礎(chǔ),決勝AI時代”,移動時代讓百度積累了先發(fā)優(yōu)勢,在發(fā)令槍已經(jīng)響起的AI時代,百度正把其技術(shù)一面逐漸展現(xiàn),數(shù)據(jù)中心只是具象之一。(文章轉(zhuǎn)載于IDC圈)