北京并行科技有限公司(以下簡稱并行科技)是一家專注于高性能計(jì)算機(jī)(以下簡稱HPC)領(lǐng)域的高新技術(shù)企業(yè),業(yè)務(wù)集中在HPC機(jī)群安裝實(shí)施和運(yùn)行維護(hù)服務(wù);HPC機(jī)群系統(tǒng)性能調(diào)優(yōu)和應(yīng)用系統(tǒng)優(yōu)化服務(wù);超算中心機(jī)時(shí)租用代理服務(wù)等。作為HPC領(lǐng)域的領(lǐng)軍者之一,在應(yīng)用系統(tǒng)層面,并行科技優(yōu)化專家能夠提供串行程序的并行化服務(wù)、用戶應(yīng)用程序的系統(tǒng)級優(yōu)化服務(wù)。?
在高性能計(jì)算系統(tǒng)大規(guī)模應(yīng)用需求不斷提升的情況下,HPC用戶對大規(guī)模軟件的可擴(kuò)展性、性能優(yōu)化以及運(yùn)行效率提出了更迫切的需求,他們開始要求如何能對現(xiàn)有應(yīng)用程序進(jìn)行更大程度的并行化,也更渴望知道發(fā)生在HPC集群中每個(gè)部分的運(yùn)行情況。這不僅對并行科技的現(xiàn)有業(yè)務(wù)提出了新的挑戰(zhàn),也對并行科技能夠提供的業(yè)務(wù)模式提出了新的思路,并行科技需要對以下問題進(jìn)行思考:
1、? 用戶需要更清晰把握HPC集群每個(gè)模塊的運(yùn)行狀態(tài);
2、? I/O密集型、計(jì)算密集行、內(nèi)存密集型等多類型應(yīng)用增多,如何針對不同應(yīng)用所需資源進(jìn)行優(yōu)化;
3、? 一些HPC應(yīng)用效率偏低,原有優(yōu)化方式無法改進(jìn);
4、? 如何充分利用現(xiàn)有軟件工具,在多核處理器飛速發(fā)展的今天使軟件更適應(yīng)大規(guī)模集群。
這些問題一旦得到解決,必然會給并行科技的業(yè)務(wù)帶來質(zhì)變,并帶來新的業(yè)務(wù)模式。
英特爾與并行科技共同打造超大規(guī)模HPC集群監(jiān)控方案
為了解決用戶所面臨的這些挑戰(zhàn),英特爾與并行科技通力合作,對HPC集群系統(tǒng)硬件層與應(yīng)用層進(jìn)行全面細(xì)致分析。在此基礎(chǔ)上,英特爾協(xié)助并行科技推出了基于應(yīng)用的全新HPC機(jī)群監(jiān)控軟件按Para系列產(chǎn)品及HPC集群系統(tǒng)整體優(yōu)化解決方案,該產(chǎn)品將HPC底層硬件與應(yīng)用層緊密連接,有效地提供了集群系統(tǒng)多個(gè)層面的監(jiān)控及管理。
在整個(gè)開發(fā)過程中,英特爾軟件技術(shù)團(tuán)隊(duì)利用其長期在HPC系統(tǒng)領(lǐng)域接觸多類型用戶以及對英特爾軟件工具的熟練應(yīng)用,提供了全面的技術(shù)指導(dǎo)。該解決方案目前已經(jīng)應(yīng)用于石油、氣象、軍事科研、CAD/CAE、材料科學(xué)、生命科學(xué)等行業(yè)和領(lǐng)域,典型用戶包括大慶油田、中石油東方地球物理勘探公司、中科院大氣物理所、海洋所、電力科學(xué)院、上海品源、澳門大學(xué)、清華大學(xué)等。
英特爾與并行科技工程師緊密合作,為并行科技的用戶提供了一系列HPC集群系統(tǒng)優(yōu)化服務(wù),并提高應(yīng)用并行化水平,將眾多的資源進(jìn)行集中管理,將系統(tǒng)各模塊運(yùn)行狀況、需并行化軟件、處理器利用率等詳細(xì)等整合進(jìn)統(tǒng)一管理,為用戶了提供了清晰、高效的HPC系統(tǒng)管理:
?實(shí)現(xiàn)系統(tǒng)硬件層與應(yīng)用層的有效銜接
該方案填補(bǔ)了HPC系統(tǒng)硬件層與應(yīng)用層之間的空白,實(shí)現(xiàn)了更高效的集中監(jiān)控。通過此方案,可以將硬件實(shí)時(shí)狀態(tài)與軟件運(yùn)行狀態(tài)進(jìn)行集中分析。
超大規(guī)模HPC集群系統(tǒng)的實(shí)時(shí)監(jiān)控
實(shí)現(xiàn)了超大規(guī)模、多個(gè)集群、幾千個(gè)節(jié)點(diǎn)的統(tǒng)一監(jiān)控,其杰出的擴(kuò)展性能使得用戶可以不用安裝不同軟件對應(yīng)每一個(gè)集群,實(shí)現(xiàn)了高效的資源統(tǒng)一管理。在同類產(chǎn)品中,該方案擴(kuò)展性令人咂舌。
更清晰直觀的資源管理
通過該解決方案,用戶只需對架構(gòu)有基本了解,可以幫助用戶直接顯示I/O、內(nèi)存、存儲、處理器等資源的利用情況,甚至可以細(xì)化到每個(gè)應(yīng)用所使用的節(jié)點(diǎn)狀況,并直接顯示導(dǎo)致應(yīng)用效率低下的所在和原因,對于程序出現(xiàn)的位置、是否需要并行化等直接分析出結(jié)果。?更高的應(yīng)用效率
通過顯示并解決應(yīng)用所出現(xiàn)的問題,此方案幫助大慶油田典型應(yīng)用實(shí)現(xiàn)50%的效率提升,將此前該應(yīng)用的作業(yè)時(shí)間從12小時(shí)減少到8小時(shí)。
為了使得方案應(yīng)用更為出色,英特爾軟件技術(shù)團(tuán)隊(duì)提供了全方位的技術(shù)支持和經(jīng)驗(yàn)供給:通過英特爾函數(shù)庫、調(diào)優(yōu)工具、編譯器等工具的透徹理解,幫助HPC應(yīng)用能利用充分,使之盡可能利用到英特爾至強(qiáng)處理器的強(qiáng)大性能。
英特爾ISV軟件工程師團(tuán)隊(duì)幫助ISV在軟件并行化上給出全方位支持和建議,并幫助并行科技掌握多達(dá)十幾種大型HPC系統(tǒng)調(diào)優(yōu)方法。
商務(wù)價(jià)值
通過英特爾多方面的支持及雙方密切的合作,并行科技研發(fā)出的Para大型HPC集群監(jiān)控軟件幫助其實(shí)現(xiàn)了區(qū)別于以往僅僅幫助用戶實(shí)現(xiàn)系統(tǒng)調(diào)優(yōu)的商業(yè)模式。并行科技利用Para系列軟件實(shí)現(xiàn)了業(yè)務(wù)模式的突破,并提高了原有業(yè)務(wù)的服務(wù)質(zhì)量,并幫助IA用戶更綠色的使用HPC集群。
評論