國產(chǎn)AI的希望！摩爾線(xiàn)程千卡集群破解國產(chǎn)AI難題

這是國產(chǎn)一個(gè)AI的時(shí)代，這是望摩一個(gè)算力的時(shí)代。

遺憾的爾線(xiàn)是，我們已經(jīng)無(wú)緣接觸到最先進(jìn)的程千產(chǎn)AI硬件和算力，用著(zhù)H20這樣閹割兩次的卡集N卡，還要支付上百億元的群破費用，實(shí)在憋屈。解國

面對持續上漲的國產(chǎn)AI算力需求，我們唯有發(fā)展自己的望摩國產(chǎn)方案，發(fā)展自己的爾線(xiàn)大規模AI算力集群，才能突破圍追堵截，程千產(chǎn)走上康莊大道?？?/p>

說(shuō)到這里，解國很多人或許會(huì )第一時(shí)間想到華為，國產(chǎn)在美國制裁下頑強屹立突破的中國企業(yè)標桿，昇騰910B在A(yíng)I算力領(lǐng)域也取得了一定的成就。

當然了，中國只依靠一個(gè)華為是不夠的。中國的AI生態(tài)需要遍地開(kāi)花，才有可能多點(diǎn)突破，讓生態(tài)更繁榮。

目前來(lái)看，摩爾線(xiàn)程以全功能GPU走通用計算路線(xiàn)是另一條希望之路，尤其是它已經(jīng)成為華為之外，另一家可以實(shí)現千卡千億參數大模型訓推的全國產(chǎn)AI芯片公司。

說(shuō)起來(lái)，大家對摩爾線(xiàn)程并不陌生，其堪稱(chēng)中國自主GPU最大的希望，但很多人對摩爾線(xiàn)程的認知還停留在國產(chǎn)游戲顯卡，其實(shí)不然，摩爾線(xiàn)程在A(yíng)I上也實(shí)力突出。

自成立以來(lái)，摩爾線(xiàn)程做的就是通用GPU，跟英偉達一樣，除了圖形渲染，也能用于A(yíng)I人工智能加速、科學(xué)計算。

經(jīng)過(guò)三年多潛心發(fā)展，摩爾線(xiàn)程在A(yíng)I GPU方面已經(jīng)展現了強勁的實(shí)力，構建了一張從芯片、板卡、服務(wù)器，到集群、軟件棧的全棧AI智算產(chǎn)品版圖，并且已經(jīng)多點(diǎn)落地、處處開(kāi)花。

比如和清華系AI大模型公司無(wú)問(wèn)芯穹的合作。摩爾線(xiàn)程是第一家接入無(wú)問(wèn)芯穹，并成功完成千卡級別大模型訓練的國產(chǎn)GPU公司。

摩爾線(xiàn)程的“夸娥”(KUAE)千卡智算集群，已與無(wú)穹Infini-AI大模型開(kāi)發(fā)與服務(wù)平臺完成系統級融合適配，并完成了LLama2 700億參數大模型的訓練測試。近期，雙方又完成了“MT-infini-3B”3B(30億參數)大模型的實(shí)訓。

這意味著(zhù)什么呢？這是行業(yè)首個(gè)基于國產(chǎn)GPU芯片的從0到1的端到端大模型實(shí)訓案例?？涠鹨渤蔀闃I(yè)內首個(gè)成功跑通并完整運行國產(chǎn)大模型的千卡集群。

無(wú)問(wèn)芯穹聯(lián)合創(chuàng )始人兼CEO夏立雪表示力挺：“經(jīng)過(guò)無(wú)問(wèn)芯穹Infini-AI平臺的實(shí)訓與聯(lián)合優(yōu)化工作驗證，摩爾線(xiàn)程夸娥千卡智算集群在精度、性能、易用性和算力利用率上均有優(yōu)異表現，而且在實(shí)訓中實(shí)現了長(cháng)時(shí)間穩定訓練不中斷，可以為千億參數級別大模型訓練提供持續高效的高性能算力支持?！?/p>

另外，滴普科技、實(shí)在智能等也基于摩爾線(xiàn)程的夸娥千卡智算集群，成功完成了不同參數量級的大模型分布式訓練測試，效率、精度、穩定性都相當完美?；谀柧€(xiàn)程夸娥千卡智算集群，滴普科技成功完成了700億參數LLaMA2大語(yǔ)言模型的預訓練測試，訓練時(shí)長(cháng)共計77小時(shí)，全程無(wú)故障連續運行，集群訓練穩定性達到100%。

夸娥（KUAE）是摩爾線(xiàn)程推出的智算中心全棧解決方案，而夸娥這個(gè)名字來(lái)自我國神話(huà)傳說(shuō)中的大力神夸娥氏，

可以說(shuō)，為AI算力集群取這么一個(gè)名字，充分展現了獨屬于中國人的堅忍不拔和浪漫情懷。出自《愚公移山》：“帝感其誠，命夸娥氏二子負二山，一厝朔東，一厝雍南。自此，冀之南，漢之陰，無(wú)隴斷焉?！?/p>

夸娥解決方案的基本節點(diǎn)是大模型智算加速卡MTT S4000組成的雙路八卡GPU服務(wù)器“MCCX D800”，以軟硬件一體化交付、開(kāi)箱即用的方式，高可靠地解決大規模GPU算力的建設和運營(yíng)管理問(wèn)題。

MTT S4000是摩爾線(xiàn)程新一代專(zhuān)為AI大模型打造的智算加速卡，基于其自主研發(fā)的第三代MUSA架構。

利用自研的MTLink互連技術(shù)，MTT S4000可以高效千卡并行，線(xiàn)性加速比高達91％以上。

最為關(guān)鍵的是，摩爾線(xiàn)程擁有自研的全功能GPU MUSA統一系統架構，包括指令集架構、MUSA編程模型、驅動(dòng)、運行時(shí)庫、算子庫、通訊庫、數學(xué)庫等，而且充分兼容CUDA軟件生態(tài)，代碼可以幾乎零成本遷移，也無(wú)需擔心未來(lái)的可用性問(wèn)題。

MTT S4000不但可用于大規模AI計算，還具備領(lǐng)先的圖形渲染能力、視頻編解碼能力、8K超高清顯示能力。

這使得它可為數字孿生、云游戲、云渲染、數字內容創(chuàng )作等場(chǎng)景提供支持，并配合大模型推理能力，服務(wù)于A(yíng)IGC等多模態(tài)業(yè)務(wù)場(chǎng)景。

從2024年的趨勢來(lái)看，多模態(tài)需求將快速崛起，英偉達CFO Colette Kress曾預計這塊業(yè)務(wù)將從零增長(cháng)至數十億美元，對國產(chǎn)芯片來(lái)說(shuō)也同樣如此。

MCCX D800作為AI大模型訓推一體機，是專(zhuān)為支持MTT S4000大模型智算加速卡充分發(fā)揮其訓練與推理性能、穩定性、可靠性的服務(wù)器系統，同時(shí)兼容主流GPU軟硬件生態(tài)。

就這樣，從核心基礎層面的MUSA統一架構芯片，到性能強大、可靈活部署的MTT S系列智算加速卡，到高度整合、完整方案的訓推一體機，到小型的智算微模塊，最終到夸娥千卡集群，摩爾線(xiàn)程提供了全套的全功能GPU產(chǎn)品組合。

如此一來(lái)，不同需求的客戶(hù)，都可以根據實(shí)際情況，選擇最適合自己的對應層級方案。

夸娥智算中心全棧解決方案，包括底層的以夸娥計算集群為核心的基礎設施、中間層的KUAE Platform集群管理平臺、最上層的KUAE Model Studio大模型平臺，軟硬一體開(kāi)箱即用，一站式方案，一體化交付。

首先在基礎設施方面，全功能GPU是最堅定的基石，具備AI加速計算、3D圖形渲染、超清視頻編解碼、物理仿真和科學(xué)計算四大計算引擎，在功能上是國內唯一可以對標NVIDIA的全功能?chē)a(chǎn)GPU。

其次是軟硬一體，因為與傳統GPU從芯片到卡的路徑不同，摩爾線(xiàn)程走的是系統級平臺路線(xiàn)，不但有千卡規模的算力集群，還有集群管理平臺、大模型平臺，從而做到軟硬結合，以一體化交付的方式，解決大規模GPU算力的建設和運營(yíng)管理問(wèn)題。

最后是全棧方案，從底層基礎設施，到中間層管理平臺，再到上層應用，摩爾線(xiàn)程做到了全面覆蓋，具備云全棧能力，能夠有效地為千億參數大模型訓練和推理提供強大支持。

總結來(lái)說(shuō)，夸娥智算集群全棧方案有8大核心優(yōu)勢：

一是廣泛模型覆蓋，支持包括LLaMA、GLM、Aquila、Baichuan、GPT、Bloom、玉言等數十種業(yè)界主流的多種大模型的訓練和微調。

二是CUDA主流生態(tài)兼容，可利用摩爾線(xiàn)程代碼移植工具M(jìn)usify，幾乎零成本地將CUDA代碼自動(dòng)遷移到摩爾線(xiàn)程統一系統架構MUSA，再快速完成優(yōu)化，而且完全獨立可靠。

三是斷點(diǎn)續訓，可以實(shí)時(shí)監測訓練任務(wù)集群，分鐘級發(fā)現故障，并自動(dòng)恢復訓練，再加上檢查點(diǎn)備份恢復，可以大大降低故障率，并將綜合訓練效率提升15-50％。

四是大模型分布式訓練，支持DeepSpeed、Megatron-DeepSpeed、Colossal-AI、FlagScale等業(yè)界主流分布式框架，并融合多種并行算法策略，還支持大模型分布式訓練斷點(diǎn)續訓、分布式推理。

五是推理加速，包含了KUAEModel Studio一體化應用平臺、MUSA Serving推理服務(wù)軟件、MT Transformer分布式推理加速框架、TensorX推理加速框架四大部分，可以有效支持主流大語(yǔ)言模型推理。

六是高性能通信，包括2/4/8卡節點(diǎn)內互連、PCIe和自主研發(fā)的MT-Link鏈路帶寬聚合、自研MCCL集合通訊庫等，MT-Link帶寬高達112GB/s。

七是高性能存儲，支持存儲數據經(jīng)RDMA網(wǎng)絡(luò )讀寫(xiě)、GPU Direct Storage、數據讀寫(xiě)加速、數據緩存加速、AI訓練數據集加載加速、高性能并行文件系統、與外部存儲交換冷熱數據，等等。

八是集群可靠性與性能，完全可以支持萬(wàn)卡以上大規模GPU集群的運行。

歷史無(wú)數次證明，越是艱難時(shí)刻，越需要國人勇敢地站出來(lái)，獨立自主，打破封鎖，AI算力時(shí)代亦是如此。

作為國內率先落地的首個(gè)以全功能GPU為底座的全國產(chǎn)千卡千億模型訓練平臺，摩爾線(xiàn)程夸娥千卡集群方案實(shí)現了軟硬設計、性能算力、生態(tài)應用的多方面突破，憑借自研軟硬架構與開(kāi)發(fā)平臺、通用計算路線(xiàn)，具備多方面的獨特優(yōu)勢。

尤其是在惡劣的國際環(huán)境下，在我國GPU技術(shù)相對薄弱的情況下，摩爾線(xiàn)程是最有希望破局的，全功能GPU唯一可以在功能上對標媲美英偉達，尤其是摩爾線(xiàn)程的創(chuàng )始團隊基本都出自英偉達，創(chuàng )始人張建中是原英偉達全球副總裁、中國區總經(jīng)理，不但有著(zhù)豐富的行業(yè)經(jīng)驗、雄厚的技術(shù)功底，更能做到知己知彼。

而在技術(shù)之外，GPU行業(yè)也迎來(lái)了政策利好，更有利于實(shí)現突圍。

比如北京市近期發(fā)布的《北京市算力基礎設施建設實(shí)施方案（2024-2027年）》就明確提出，加快推動(dòng)核心軟硬件產(chǎn)品自主可控，建設自主可控算力技術(shù)體系，推動(dòng)人工智能大模型與自主可控芯片開(kāi)展適配。

對于采購自主可控GPU芯片、開(kāi)展智能算力服務(wù)的企業(yè)，按照投資額的一定比例給予支持，加速實(shí)現智算資源供給自主可控。

從千卡高效互連的算力領(lǐng)先，到軟硬一體的高度優(yōu)化，從大模型訓練與推理一體化，到高度的穩定性與可靠性，摩爾線(xiàn)程夸娥千卡集群在各個(gè)方面都已經(jīng)擁有成熟的經(jīng)驗，堪稱(chēng)“中國英偉達”，最有希望實(shí)現國產(chǎn)自主替代，解決國內AI算力緊缺的難題。