基於物聯網(wǎng)技術的數(shù)據中心集中管理係統
來源:小蝌蚪看片网點擊:次發布日期:2024-11-16
隨著科技的快速發展(zhǎn),從原來笨重電(diàn)腦到現在小巧的手機,從原來的互聯網時代發展到移動互聯網,漸(jiàn)漸地,人(rén)們發現小小的手機(jī)都能(néng)聯網,若世間萬物也裝上一個聯網器(qì)件,則都可連上互聯網,實現相互交流、信(xìn)息互換。慢慢地越來越多的(de)“物”連接上互聯網,實現萬物間(jiān)的信息交換,一個萬物互聯(lián)的時代來臨了(le)——物聯網。
它通過各種信息傳感器、射頻識別技術、全(quán)球定位係統、紅外感應器、激光掃描器等各種裝置與(yǔ)技術,借助互聯網、無線(xiàn)網絡將物(wù)體的實時信息快速準確的傳遞到雲中(zhōng)心,再以智能化的技術針對數據、信息進行分析處理,實現對“物”的實(shí)時監控(kòng)和控製的(de)智能化。
而隨著(zhe)數據中(zhōng)心建設規模的持續擴大,傳統的數據中(zhōng)心管理(lǐ)已不能滿足現有的需求,無(wú)法應對跨區域的監控及人員等因素的管理,通過與物聯網技(jì)術的結(jié)合,更高效的提高數據中(zhōng)心的管理與維護,實現無人(rén)值守(shǒu)的智能管理。
MQTT協議
MQTT協議是一種輕量級的、一對多的發布/訂閱式消息傳輸,實現在低(dī)寬帶和不穩定(dìng)的網(wǎng)絡環境中為設備提供穩定的網絡服務,並且能維持數百萬個設備節點的並發(fā)操作。MQTT所耗費的網絡服務的功耗較低,產生(shēng)的耗(hào)電量低,並且MQTT可以(yǐ)保證消息可靠安全的傳輸。
在物聯網眾多協議(yì)中,MQTT對比其他協(xié)議,如表1所示。
綜合對比後,采用MQTT更符合高效節能型數據中心。
REDIS
為了提高(gāo)用戶的請求速度和降(jiàng)低網站的負載,降低數據(jù)庫的讀寫次數,將一些數據在短時間之內不會發生變化,而且它們還要被頻繁訪問的數據放到緩存中。
而REDIS是一種以key-value的形式存儲的高(gāo)速緩存(cún)型(xíng)數據庫,與其他的緩存技術不同之處在於REDIS不單(dān)單將數據存(cún)放在內存中,還定期將更新的數據寫入磁盤或(huò)者把修(xiū)改操作寫入追加(jiā)的記錄文件,實現數據的(de)持久化,避免特殊情況導致數據不可複原。同時它的讀取的速度是110000次/s,寫的速度是(shì)81000次/s,與高性能鍵值緩(huǎn)存(cún)服務器(qì)MEMCACHED相差無幾。支持事務,操作都是原子性,保證(zhèng)對數據庫操作的一致性,而(ér)且會自動刪除時間過久的數據,釋放內存,減少不必要的浪費。
REDIS除了性能和並發(fā)的優勢外,還具備可以做分布式等其他功能,其(qí)強大的能力能適應數據中心增長的規模。
HBASE
HBASE是一(yī)個高可靠性、高性能、麵向列、可伸縮的(de)分布式存儲係統,利用HBASE技術可在(zài)廉價PC Server上搭建起大規模結構化存儲集群。
HBASE的目標是存儲並處理大型的數據,更具體(tǐ)來說是僅需(xū)使用普通的硬(yìng)件配置,就能(néng)夠處理由成千(qiān)上萬的行和列(liè)所組成的大型數據。與FUJITSUCLIQ等商用大數據產品不(bú)同,HBASE是Google Bigtable的開(kāi)源實現(xiàn),HBASE利用Hadoop HDFS作為其文件存儲係統;用Hadoop MapReduce來處理HBASE中的(de)海量數據。
在(zài)查詢速度上,HBASE僅次於REDIS這(zhè)類緩存型數據庫,但其在上千萬、上億的大數據的查詢中,能快速定位到想要的數據。HBASE在列數據為空(kōng)的情況下,是不會(huì)占用存儲(chǔ)空間,這(zhè)為用戶(hù)節省不必要浪費的空間。再者高並發、低延遲的服務更促使我們采用此技術作為數據中心集中管理係統的重要構成環節。
依靠HBASE技術,將存儲所有(yǒu)數據中心每個時間點的設備及相關數據,用於大數據分析和報表統計使用。
本係統(tǒng)主要分三(sān)個層,采集層、雲平台層、業務層。其中采集層主要是(shì)由UPS、PDU、電表、溫濕度等動環設備與IT資產(chǎn)采集設(shè)備組(zǔ)成;雲平台層(céng)主要是存儲設備數據以(yǐ)及進行大數據分析;業務層則(zé)是展示給用戶的數據中心(xīn)集中管理係統。整體架構如圖(tú)1所示。
由采集層的各個采集點將各自的數(shù)據匯總到(dào)監控(kòng)主機後,通過MQTT協議與雲平台間進行數據交換,經(jīng)過雲平台的篩選後,將屬於係統的數據中心數據進行保存以及一係列的大數據算法運算分析並保存分析後的(de)結果;當用戶使用(yòng)數據中心集中管理係統時,係統會與雲平台間進行交互,將需要的數據經(jīng)過REDIS緩存(cún)到內存中,讓用戶體驗到高效的管理(lǐ)係統,而且支持(chí)多用戶(hù)同時在線瀏覽訪問(wèn)該係統(tǒng)。
數據中心集中管理(lǐ)係統不僅為用戶提供遠程監(jiān)測各個數據中心的所有設備實時數據(數據保存)及告警(jǐng)記錄(當(dāng)前告(gào)警、曆史告警(jǐng)),了解數據中(zhōng)心實時情況;統計(jì)每類設備的各個告警發生比(bǐ)例以(yǐ)及(jí)告警設備數量,便於用戶了解各數據中心告警分布情況並以此做出相應的安排。當係統檢測到某(mǒu)些重(chóng)要告警後(hòu),針(zhēn)對該告警做出預設(shè)定相應的聯動處理,並通過(guò)短信(xìn)、語音等方式(shì)實時通知相應人員,同時展示出發生點附近的監控攝像畫麵,利於維護人員勘察告警是否對數據中心(xīn)造成大(dà)範圍影響,實現數據中心的無人值守。同時該係統還加入了3D全景模型,通過三維直觀、交互易用(yòng)和實時數據對接的方式,實現數據中心園區、樓層、機房、機櫃組合機櫃(guì)、設備、端口及線纜七級,模擬真實數據中心場景,全三維(wéi)虛擬現實(shí)瀏覽和全鼠標虛擬(nǐ)現(xiàn)實操作,點擊(jī)各個設備可查看重要數據,並可(kě)模擬維(wéi)護人員巡檢數據(jù)中心,檢測設備是否發生故障等。而且該係統增加了對IT服務(wù)設備的實時監控CPU、內存等重要(yào)數據,無需再采用(yòng)另外一套係統來檢測IT服務設備的(de)情況,便於維護人員的操作,為數據中心維護減少了額外(wài)開(kāi)支。
跨模塊PUE計算顧名思義即根據各個數據中心(xīn)各自施工工況以(yǐ)及檢測點範圍,正確的計算出整個數據中心或者某個微模塊或者多個(gè)微(wēi)模塊(kuài)的能(néng)源效率。
目前,很多(duō)廠商部署了數(shù)據中心能耗監測係統,但是均存在以下缺(quē)點:
隻針對整個數據中心或者固定節點進行PUE計算,無法(fǎ)根據數據中心的設(shè)施變換和實際工況的變換進行靈活配置(zhì),不能全麵、綜合地反映數據中心各個節點的能耗;
計(jì)算PUE采用的耗電(diàn)量數值為當前數值(zhí),沒有將數據中心由於前期施工等產生的耗(hào)電量考慮在內(nèi),因此計算結果準確性有待提高。為了(le)克服現有技術中存在的(de)不足,本係統提供(gòng)了一種自(zì)定義的數據中心能耗監測係統。
其特點在於:靈活配置測量點,累計(jì)PUE、當前PUE、曆史PUE報表全麵監測數據中心能耗,增加計算基準時間,提高PUE結果準確性。
用戶根據各個數據中心或者各個模塊的PUE值、PUE波動趨勢,進行戰略分析及部署,為以(yǐ)後擴展數據(jù)中心選址、節能提(tí)供(gòng)有效的幫助。
本係(xì)統采用雙向通訊管理,除了傳統數據(jù)中心集中(zhōng)管理的上發外,還增加了下控的管(guǎn)理,並且上發及下控的通訊經過安全的多重加密,提高安全性。相比傳統(tǒng)數據中心集中管理上發功能需要互相知道(dào)對方IP的方式,本係統采用匯聚的方式(shì),隻(zhī)需采集設備填寫(xiě)雲平台IP即可,節省了過多繁(fán)瑣的過(guò)程。
在傳統的數據中心集(jí)中管理中,主要(yào)依靠人工(gōng)采集和錄入設備變更信息、工作(zuò)強度大、工作效率低,隨著數據中心規模越來越大,需(xū)要管理的設備數量急劇增加,傳統的資產管理方式已經跟不(bú)上數據中心業務發展的腳步,逐漸成為數據中心運維的短(duǎn)板,大大的降低效率。現在,隻要設備連接到物聯網中,即可(kě)自(zì)動獲取到各個采集點的(de)所有設備及信息,支持熱插拔式動(dòng)態更新。
為了更好掌握及提(tí)高資(zī)源(yuán)利用率,還增加了針對容量的管理,展示(shì)出整個數據(jù)中心(xīn)的容量比以及某個機櫃的容量比,通過當前容量統計、分析與規劃,充分利用現有數據中心的(de)容(róng)量資源,盡量延長數據(jù)中心的使用壽命,推遲下一個數據(jù)中心的建設計劃,保護用戶投資,避免資源的浪費。摒棄了傳(chuán)統數據(jù)中心集中管理的(de)多IP分散式管理、人工錄入信息(xī)等缺點(diǎn),將各個數據中心匯聚到一起實現跨(kuà)區(qū)域集中管理,自動化獲取信息,實現智(zhì)能化的集中(zhōng)管理。
當我們購物時,京東、天貓網的(de)消費數據分析會推送符合我們的傾向商品;當我們出行時,參考百度地圖的交通數據。生(shēng)活中的大大小小事均需要大數據的分(fèn)析,而數據中心這種嚴謹的(de)同樣需要大數據分析,幫(bāng)助用戶更好的維護(hù)和管理數據中心(xīn)。
通過MQTT,本係統已將所有數據(jù)中心數據匯聚到一(yī)起,根(gēn)據發生故障(zhàng)期間的數據進行(háng)統(tǒng)計分析,根據分(fèn)析結果提前診斷設備處於故障前潛伏期,提醒運(yùn)維人(rén)員提前排查故障,降低風險。根據數據中心耗電(diàn)分布情況,排查僵屍服(fú)務器(qì),優化IT資源配置;排查非IT資源是(shì)否能(néng)耗(hào)過大,提醒用戶避免(miǎn)不必要的開銷或者更換更(gèng)節能有效的設備。
數據中心建(jiàn)設(shè)前的設計、規劃都是按照IT服務(wù)器滿(mǎn)載做的,實際(jì)運行(háng)過程中往往是變工況(kuàng)運行,經(jīng)過大數(shù)據分析可根據運行動態數據(jù)分析改變設定值,例如空調的製冷點設(shè)置為18℃,冷通道上限值維持在22℃,實際運行中冷通道的溫(wēn)度一直維持在22℃以下,則可以提醒運維人員嚐試提高空調溫度設定值為20℃,如此可實現節省製冷係統電(diàn)耗、節能運(yùn)行的目的。
大數據分析,除(chú)了以上所列舉(jǔ)的示例外(wài),它還可以做很多的事情,例如能效管(guǎn)理、成本管理等等。它幫助數據(jù)中心運維提高能效、降低成本、降低故障風險。
綜上所述,將物聯網(wǎng)技術結合數據中心集中管理和大數據分析,為用戶提供一(yī)個智能化管理平台,簡單、便捷地管理不同區域(yù)的(de)數據中心的運維,同時平台會在數據中心發生告警時,主(zhǔ)動示警(jǐng)相關人員的手機、郵箱,做(zuò)到遠程無人值守監控數據中心。再借助大數據分析(xī),提前(qián)排查故障將隱患扼殺在搖籃中(zhōng),並針對數據中心的能(néng)耗情(qíng)況、製冷情況、容(róng)量占比等方式的(de)分析,為用戶(hù)提供諸多節能的建議作(zuò)為(wéi)參考,根據自身情況做出調整,打造出一個持久、節能的綠色數據(jù)中心。
物聯網(wǎng)技術的運用將數據中心(xīn)的管理與運維構造的(de)更加智(zhì)能化,為用戶帶來高效的管理(lǐ)體驗,相信在(zài)將來的5G大範圍使用後,將會與之擦(cā)出不一樣的(de)火花,讓物聯網的技(jì)術運用更上一層。
返(fǎn)回(huí)列表