智東西
作者 中國AI算力大會(huì)
6月26日，一場干貨爆棚的AI算力盛會(huì)，在北京燦爛盛夏中熱烈召開。
以大模型、生成式AI為代表的新一輪人工智能浪潮的滾滾向前，催生出前所未有的AI算力需求，算力是數(shù)字經(jīng)濟(jì)時(shí)代的新質(zhì)生產(chǎn)力，更是人工智能發(fā)展的基石。
2025年，以DeepSeek為代表的國產(chǎn)大模型強(qiáng)勢突圍，在全球引爆部署熱潮和AI應(yīng)用開發(fā)熱潮，也給國內(nèi)AI算力市場注入新的活力，推動(dòng)AI推理算力需求暴漲，超大規(guī)模集群鱗次櫛比，而需求的爆發(fā)也帶來諸多挑戰(zhàn)，醞釀新的行業(yè)變化。
為此，我們發(fā)起了一場聚焦前沿技術(shù)與產(chǎn)業(yè)趨勢的夏日AI聚會(huì)——2025中國AI算力大會(huì)。
從國產(chǎn)AI算力的突圍與崛起，到智算中心深層軟硬件技術(shù)創(chuàng)新解決算力落地產(chǎn)業(yè)難題，近30位重量級(jí)嘉賓與會(huì)帶來致辭、報(bào)告、演講和對話，全方位解構(gòu)DeepSeek引爆的AI算力變局，全場金句頻頻，各路大佬觀點(diǎn)持續(xù)碰撞擦出火花，現(xiàn)場參會(huì)人數(shù)超過850人。
在會(huì)場外的展區(qū)，Alluxio、研惠通、惠普、白山云科技、中昊芯英、中科加禾、科華數(shù)據(jù)(41.670, -1.01, -2.37%)、行云集成電路等8家企業(yè)亮出了他們的最新技術(shù)和產(chǎn)品，展區(qū)人頭攢動(dòng)，交流熱情氛圍濃厚。
▲展區(qū)由智一科技旗下智猩猩與智東西共同發(fā)起主辦、芯東西協(xié)辦的首屆AI算力大會(huì)，圍繞AI算力產(chǎn)業(yè)變局與創(chuàng)新、AI推理算力、智算中心、智算集群異構(gòu)混訓(xùn)、超節(jié)點(diǎn)等話題設(shè)置議程，主會(huì)場包括高峰論壇、AI推理算力專題論壇和智算中心專題論壇；分會(huì)場為閉門制，組織了智算集群異構(gòu)混訓(xùn)技術(shù)研討會(huì)、超節(jié)點(diǎn)技術(shù)研討會(huì)。
▲聯(lián)想集團(tuán)Game of AI科普視頻在大會(huì)展播：聯(lián)想海神全液冷解決方案，革命性提升AI推理時(shí)代算力智一科技聯(lián)合創(chuàng)始人、CEO龔倫常在大會(huì)致辭環(huán)節(jié)宣布：中國AI算力大會(huì)正式成為“智領(lǐng)未來”北京人工智能系列品牌活動(dòng)之一。
“智領(lǐng)未來”是北京市科委、中關(guān)村(5.510, 0.08, 1.47%)管委會(huì)打造的北京市人工智能領(lǐng)域的活動(dòng)品牌。同樣作為“智領(lǐng)未來”北京人工智能系列品牌活動(dòng)之一的中國生成式AI大會(huì)已于今年4月1日-2日圓滿舉行。
龔倫常還預(yù)告了將于下半年舉行的兩場大型品牌活動(dòng)：9月在上海舉辦第七屆全球AI芯片峰會(huì)，11月在深圳舉辦2025中國具身智能機(jī)器人(16.950, -0.23, -1.34%)大會(huì)。
▲智一科技聯(lián)合創(chuàng)始人、CEO龔倫常智算集群異構(gòu)混訓(xùn)、超節(jié)點(diǎn)兩場技術(shù)研討會(huì)在分會(huì)場圓滿舉辦。壁仞科技AI軟件首席架構(gòu)師丁云帆、中國移動(dòng)(112.560, 0.01, 0.01%)研究院網(wǎng)絡(luò)與IT技術(shù)研究所技術(shù)經(jīng)理班有容、北京智源人工智能研究院AI框架研發(fā)負(fù)責(zé)人敖玉龍、上海人工智能實(shí)驗(yàn)室編譯計(jì)算與國產(chǎn)化團(tuán)隊(duì)負(fù)責(zé)人裴芝林、商湯大裝置技術(shù)產(chǎn)品總監(jiān)劉葉楓在智算集群異構(gòu)混訓(xùn)技術(shù)研討會(huì)做了報(bào)告分享。
阿里云基礎(chǔ)設(shè)施異構(gòu)硬件和系統(tǒng)及解決方案資深總監(jiān)盧曉偉、中國移動(dòng)研究院網(wǎng)絡(luò)與IT技術(shù)研究所技術(shù)經(jīng)理王鵬、奇異摩爾首席網(wǎng)絡(luò)架構(gòu)專家葉棟、曦智科技聯(lián)合創(chuàng)始人兼首席技術(shù)官孟懷宇圍繞超節(jié)點(diǎn)進(jìn)行了不同視角的報(bào)告分享。中信建投(23.920, -0.13, -0.54%)證券科技行業(yè)首席分析師閻貴成主持了超節(jié)點(diǎn)技術(shù)研討會(huì)及圓桌Panel。
▲分會(huì)場接下來我們將為大家?guī)碇鲿?huì)場三大論壇15+位分享嘉賓的演講和對話精華。
一、高峰論壇：從千芯節(jié)點(diǎn)到千億大模型，國產(chǎn)AI芯片生態(tài)迸發(fā)旺盛活力
AI已成為數(shù)據(jù)中心增長的核心驅(qū)動(dòng)力(10.740, 0.04, 0.37%)。大模型迭代拉動(dòng)算力需求暴增，推動(dòng)計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)基礎(chǔ)設(shè)施全面升級(jí)。在大模型訓(xùn)練與部署需求旺盛的背景下，如何更充分地利用閑置算力，國產(chǎn)AI芯片發(fā)展到了怎樣的新階段，有哪些優(yōu)化大模型推理效果的創(chuàng)新技術(shù)？6位嘉賓分享了他們對產(chǎn)業(yè)最新風(fēng)向的觀察與探索。
1、信通院陳屹力：“算力荒”與“算力閑置”共存，算力互聯(lián)互通、AI云成焦點(diǎn)
中國信息通信研究院云大所副總工程師陳屹力談道，當(dāng)下AI大規(guī)模應(yīng)用促使智能算力需求激增，AI 云成為全球AI浪潮角逐的焦點(diǎn)。其中AI云基礎(chǔ)設(shè)施需覆蓋異構(gòu)高效調(diào)度能力、一云多模能力、專家知識(shí)大腦等多方面。AI云平臺(tái)推動(dòng)AI應(yīng)用的智能、便捷構(gòu)建，提升國際影響力、助力生態(tài)繁榮。
隨任務(wù)型智算應(yīng)用興起，對算力資源的定位、調(diào)度、部署效率提出更高要求。中國信通院聯(lián)合產(chǎn)業(yè)各方探索構(gòu)建算力互聯(lián)網(wǎng)，積極推進(jìn)算力標(biāo)識(shí)、算力調(diào)度、傳輸協(xié)議、應(yīng)用適配等方面技術(shù)研究，加快現(xiàn)有算力“局域網(wǎng)”間互聯(lián)互通，逐步建立標(biāo)準(zhǔn)體系，形成算力互聯(lián)網(wǎng)體系架構(gòu)，核心解決算力“找調(diào)用”挑戰(zhàn)，逐步形成具備智能感知、實(shí)時(shí)發(fā)現(xiàn)、隨需獲取的算力互聯(lián)網(wǎng)。
▲中國信息通信研究院云大所副總工程師陳屹力2、摩爾線程王華：算力需求千倍增長，大集群和FP8成為強(qiáng)需求
摩爾線程副總裁王華引用了一些研究數(shù)據(jù)：2020至2025年間，大模型訓(xùn)練的算力需求提升近1000倍 ，驅(qū)動(dòng)力來自參數(shù)規(guī)模與數(shù)據(jù)量雙向增長。以DeepSeek-V3為例，其訓(xùn)練所需算力達(dá)10²?級(jí)別，在萬卡集群上可將訓(xùn)練時(shí)間壓縮至13天內(nèi)完成 。
為應(yīng)對算力需求，摩爾線程提供包括FP8在內(nèi)的全精度算力，有效支持混合精度訓(xùn)練，大幅提升訓(xùn)練效率；部署萬卡集群，研發(fā)完整的軟硬件棧，提供開箱即用的產(chǎn)品，快速滿足大模型訓(xùn)練的算力需求；打造豐富的集群監(jiān)控和診斷能力，針對大規(guī)模集群實(shí)現(xiàn)分鐘級(jí)故障定位。
此外，摩爾線程構(gòu)建了支持FP8、BF16、FP32等數(shù)據(jù)類型的混合精度訓(xùn)練方案，開源Torch-MUSA、MT-MegatronLM與MT-TransformerEngine等大模型訓(xùn)練組件，已完成DeepSeek-V3的混合精度訓(xùn)練復(fù)現(xiàn)。在多個(gè)模型上的實(shí)驗(yàn)結(jié)果表明，其方案整體性能提升可達(dá)20%–30%，訓(xùn)練精度與業(yè)界主流保持一致。
▲摩爾線程副總裁王華3、中昊芯英楊龔軼凡：解讀TPU架構(gòu)創(chuàng)新設(shè)計(jì)，國產(chǎn)AI芯片如何抓住本土機(jī)遇
中昊芯英創(chuàng)始人、CEO楊龔軼凡談道，AI專用芯片是AI Infra的必然發(fā)展趨勢，TPU架構(gòu)為AI大模型而生，采用多維度計(jì)算單元來優(yōu)化數(shù)據(jù)復(fù)用，提高計(jì)算效率，并通過更激進(jìn)的數(shù)據(jù)傳輸策略和更小的控制單元，給片上存儲(chǔ)器和運(yùn)算單元留下更大空間，其可擴(kuò)展性也更適合超大規(guī)模計(jì)算。
中昊芯英全自研高性能TPU架構(gòu)AI芯片“剎那”于2023年已成功流片并實(shí)現(xiàn)量產(chǎn)，其計(jì)算性能較海外某知名GPU芯片提升近1.5倍。基于“剎那”的高性能AI服務(wù)器及大規(guī)模AI計(jì)算集群“泰則”，支持1024卡高速互聯(lián)，可支撐超千億參數(shù)大模型計(jì)算。
隨著大模型成本下移，AI芯片架構(gòu)開始深度適配動(dòng)態(tài)稀疏計(jì)算范式，形成“算法定義硬件”的新研發(fā)模式。降低對CUDA生態(tài)的依賴后，國產(chǎn)Al芯片將通過提供定制化工具鏈、優(yōu)化編譯器等方式，在架構(gòu)設(shè)計(jì)上更加靈活適應(yīng)新的本土趨勢和需求。
▲中昊芯英創(chuàng)始人、CEO楊龔軼凡4、魔形智能徐凌杰：大模型需要“千芯”超節(jié)點(diǎn)，未來架構(gòu)有五大關(guān)鍵因素
魔形智能科技創(chuàng)始人、CEO徐凌杰幽默開場：“過去十年，中國最值錢的是房地產(chǎn)行業(yè)。未來最值錢的，可能還是房地產(chǎn)，只不過住的不是人，而是機(jī)器。”
研究數(shù)據(jù)顯示，全球數(shù)據(jù)中心總耗電量與單個(gè)發(fā)達(dá)國家相當(dāng)。更強(qiáng)的大模型需要大集群，更快的大模型需要超節(jié)點(diǎn)，更大的高帶寬互聯(lián)域是超節(jié)點(diǎn)設(shè)計(jì)的核心。當(dāng)前算力密度遠(yuǎn)不夠高，要達(dá)到與人腦相當(dāng)?shù)乃懔γ芏龋枰獦?gòu)建“千芯”超節(jié)點(diǎn)，構(gòu)建可重構(gòu)的AI算力中心。
如何構(gòu)建千芯互連網(wǎng)絡(luò)？徐凌杰總結(jié)了未來超節(jié)點(diǎn)架構(gòu)的5大關(guān)鍵因素：超高密度算力節(jié)點(diǎn)，千芯多機(jī)柜級(jí)聯(lián)背板連接，800V供電輸入，交換芯片全互聯(lián)，全覆蓋式冷卻。
他還分享了下一代算力基礎(chǔ)設(shè)施對芯片提出的3大要求：板級(jí)&封裝級(jí)靈活組合與解耦，整合光電共封裝設(shè)計(jì)，Cluster First的產(chǎn)品理念。軟硬協(xié)同將釋放超大集群的潛力。
▲魔形智能科技創(chuàng)始人、CEO徐凌杰5、中科加禾崔慧敏：AI編譯優(yōu)化躍升推理性能，有效擴(kuò)展國產(chǎn)AI芯片生態(tài)
中國科學(xué)院計(jì)算技術(shù)研究所研究員、中科加禾創(chuàng)始人崔慧敏談道，大模型推理私有化部署需求大漲，但面臨硬件繁多、需求多元、多模部署等多重挑戰(zhàn)。
中科加禾圍繞編譯優(yōu)化構(gòu)建大模型推理的引擎和軟件棧，積累了大量實(shí)踐案例：在推理引擎中實(shí)施深度顯存優(yōu)化，有效提高顯存利用率；在大規(guī)模推理中實(shí)現(xiàn)多維并行策略，有效利用計(jì)算、訪存、通信資源；基于多項(xiàng)聯(lián)合優(yōu)化，推理技術(shù)在某互聯(lián)網(wǎng)廠商合作中將QPS提升50%以上，并在昇騰910B平臺(tái)私有化部署場景下有效支持128K長上下文。
長期來看，基于AI編譯技術(shù)，構(gòu)建一套底層公共的編譯支撐，能夠長期有效解決AI生態(tài)碎片化及生態(tài)融合問題。
▲中國科學(xué)院計(jì)算技術(shù)研究所研究員、中科加禾創(chuàng)始人崔慧敏6、趨境科技陳祥麟：千億大模型的異構(gòu)推理新路徑
趨境科技技術(shù)負(fù)責(zé)人陳祥麟分享了大模型推理的技術(shù)創(chuàng)新。他認(rèn)為大模型私有化推理架構(gòu)將從傳統(tǒng)的以GPU為中心轉(zhuǎn)向全系統(tǒng)異構(gòu)協(xié)同，需要充分提升算力利用率。
團(tuán)隊(duì)首創(chuàng)全系統(tǒng)異構(gòu)協(xié)同與以存換算技術(shù)，充分利用底層GPU、CPU、存儲(chǔ)等硬件設(shè)備算力，通過基于計(jì)算強(qiáng)度的offload策略、CPU/GPU的高性能算子改造、MTP等算力優(yōu)化方法，以及prefix cache等融合推理策略，提升全系統(tǒng)算力，將大模型推理門檻降低至1/10。
趨境科技與清華KVCache.AI團(tuán)隊(duì)共同開源的異構(gòu)推理框架KTranformers，能夠利用單張消費(fèi)級(jí)GPU+CPU異構(gòu)推理DeepSeek-671B-r1/v3，decode速度最高達(dá)到20+ tokens/s。
同時(shí)參與月之暗面、清華MADSys實(shí)驗(yàn)室等多個(gè)產(chǎn)學(xué)研機(jī)構(gòu)開源的項(xiàng)目Mooncake，以超大規(guī)模KVCache緩存池為中心，通過以存換算的創(chuàng)新理念大幅度減少算力開銷，顯著提升了推理吞吐量。
▲趨境科技研發(fā)負(fù)責(zé)人陳祥麟二、高端對話：國產(chǎn)AI算力的突圍與崛起，中美差距正逐步縮小
以《國產(chǎn)AI算力的突圍與崛起》為主題的高端對話，由智一科技聯(lián)合創(chuàng)始人、智車芯產(chǎn)媒矩陣總編輯張國仁主持，中昊芯英創(chuàng)始人兼CEO楊龔軼凡，魔形智能科技創(chuàng)始人、CEO徐凌杰，中科加禾聯(lián)合創(chuàng)始人兼CTO陳龍三位嘉賓進(jìn)行分享。
張國仁談道，從2018年AI芯片峰會(huì)到如今AI算力峰會(huì)，他感觸最深的是國內(nèi)企業(yè)對自己的產(chǎn)品、公司發(fā)展都表現(xiàn)得愈發(fā)云淡風(fēng)輕。
▲智一科技聯(lián)合創(chuàng)始人、智車芯產(chǎn)媒矩陣總編輯張國仁1、國產(chǎn)算力與全球差距仍然存在
面對國產(chǎn)算力在全球發(fā)展中的地位，陳龍談道，國內(nèi)廠商已掌握算力底層技術(shù)，但在PyTorch等主流訓(xùn)練框架適配方面仍處于跟隨、陪跑階段。
楊龔軼凡從硬件的設(shè)計(jì)和生產(chǎn)兩方面進(jìn)行了比較：生產(chǎn)差距存在，但預(yù)測將在3-5年內(nèi)逐步縮小；而在設(shè)計(jì)層面，從學(xué)術(shù)研究、論文創(chuàng)新性等角度看，設(shè)計(jì)的差距更大。隨著模型算法收斂，更多創(chuàng)新型架構(gòu)、設(shè)計(jì)出現(xiàn)，國外諸多路線已發(fā)展到產(chǎn)品落地，國內(nèi)廠商需要共同拓展生態(tài)。
▲中昊芯英創(chuàng)始人兼CEO楊龔軼凡徐凌杰認(rèn)為，在如何做優(yōu)秀的GPU、如何搭建生態(tài)、如何做集群等方面，中美認(rèn)知差距正不斷縮小。但實(shí)際產(chǎn)業(yè)中，差距進(jìn)一步擴(kuò)大，企業(yè)需要從底層供應(yīng)鏈突破。
2、算力仍是資源導(dǎo)向型市場
對于國產(chǎn)算力的市場化，徐凌杰判斷，政府、資源導(dǎo)向型的現(xiàn)狀未來幾年不會(huì)有很大改變，芯片晶圓、制程以及芯片創(chuàng)企在國產(chǎn)生態(tài)中的成長，都需要政府扶持。芯片公司的機(jī)會(huì)是通過更強(qiáng)互聯(lián)、集群打造差異化，找到商業(yè)化落腳點(diǎn)。
楊龔軼凡同樣認(rèn)為，資源導(dǎo)向型走向市場導(dǎo)向型是一個(gè)過程，在半導(dǎo)體行業(yè)，老的生產(chǎn)制程永遠(yuǎn)比新的生產(chǎn)制程性價(jià)比低，生產(chǎn)制程每迭代一次會(huì)有4倍的性價(jià)比提升，這就導(dǎo)致純國產(chǎn)芯片的性價(jià)比更低，需要政府扶持拉通生產(chǎn)工藝的產(chǎn)業(yè)鏈。
陳龍從應(yīng)用層面進(jìn)行分析，談到國家的扶持很必要，企業(yè)通過軟硬件優(yōu)化降低了部署成本，但消費(fèi)側(cè)拉動(dòng)還不夠強(qiáng)，現(xiàn)狀是上一代芯片尚沒有完全落地應(yīng)用，下一代芯片已經(jīng)出來了，因此核心是要發(fā)掘更有價(jià)值的應(yīng)用。
▲中科加禾聯(lián)合創(chuàng)始人兼CTO陳龍3、專用芯片、編譯技術(shù)、超節(jié)點(diǎn)，是未來發(fā)展方向
楊龔軼凡堅(jiān)信專用芯片是未來的發(fā)展方向，在通用性需求大幅降低的情況下，可以拋棄部分通用性，增加芯片核心的性能和性價(jià)比。越專越好，是在滿足一定可控性和變化下的結(jié)果。
圍繞編譯技術(shù)在解決國產(chǎn)芯片面臨的風(fēng)險(xiǎn)，陳龍認(rèn)為，它是將專家的經(jīng)驗(yàn)泛化、普適化的一種技術(shù)手段。編譯技術(shù)最開始產(chǎn)生是為了彌補(bǔ)人的思維和機(jī)器能接受信息之間的鴻溝，使開發(fā)效率提升上百倍。
徐凌杰著重談到超節(jié)點(diǎn)的發(fā)展方向，在大模型領(lǐng)域，類似MoE的創(chuàng)新結(jié)合超節(jié)點(diǎn)會(huì)有更大收益，即更大的問題用更大的集群解決，更大的集群反哺系統(tǒng)，從而做出更大的模型。
▲魔形智能科技創(chuàng)始人、CEO徐凌杰4、算力產(chǎn)業(yè)格局未定
談到全球算力產(chǎn)業(yè)的產(chǎn)業(yè)格局，陳龍認(rèn)為，雖然國內(nèi)巨頭有積累優(yōu)勢，但產(chǎn)業(yè)規(guī)模足夠大，且需求多元化，將來企業(yè)將百花齊放。
楊龔軼凡的觀點(diǎn)更為激進(jìn)：首先，3-5年內(nèi)形成產(chǎn)業(yè)格局的可能性不高，目前仍是企業(yè)相互競爭、高速發(fā)展變革的過程；其次，資源型市場的天然屬性決定了其很難形成壟斷，且巨頭穿越周期能力弱，因此AI產(chǎn)業(yè)爆發(fā)后市場格局會(huì)洗牌，初創(chuàng)公司或許會(huì)通過更好的組織形式去適應(yīng)產(chǎn)業(yè)發(fā)展。
行業(yè)的重要性、資本周期發(fā)展對產(chǎn)業(yè)發(fā)展都會(huì)有影響。徐凌杰相信，算力變得越來越有吸引力，自然會(huì)有更多的錢涌入，會(huì)出現(xiàn)巨頭被沖擊、新生勢力冒出的場景。創(chuàng)企和巨頭需要找準(zhǔn)自己的定位，通過“整合”變成更強(qiáng)實(shí)體可能是一條發(fā)展路徑。
如今中國算力規(guī)模已在全球排名第二，被預(yù)測有望影響全球AI 競賽格局。陳龍認(rèn)為，AI算力市場規(guī)模和國家GDP發(fā)展成正比關(guān)系，當(dāng)國家GDP反超或許是國產(chǎn)算力格局更進(jìn)一步的機(jī)會(huì)。楊龔軼凡提到投入產(chǎn)出比，目前美國和中國算力開銷差10倍，當(dāng)投入量逐步趕上才會(huì)有變化。徐凌杰認(rèn)為未來當(dāng)AI賦能千行百業(yè)，算力真正變成生產(chǎn)力時(shí)，就是一個(gè)巨大的機(jī)會(huì)。
三、專題論壇：從軟硬協(xié)同到端邊云協(xié)同，底層技術(shù)創(chuàng)新突破AI算力瓶頸
下午場火熱繼續(xù)，在AI推理算力專題論壇和智算中心專題論壇中，來自行云集成電路、安謀科技、實(shí)在智能、白山云科技、Alluxio、浩云長盛集團(tuán)、上海矩向科技、趨動(dòng)科技的8位嘉賓帶來了精彩演講。
如何突破大模型推理芯片的核心瓶頸、如何實(shí)現(xiàn)出色的端側(cè)模型性能？超大規(guī)模智算中心面臨的數(shù)據(jù)、成本功耗、算力利用率等方面的一系列難題要如何破解？我們都將找到答案。
1、行云余洪敏：只有軟硬件協(xié)同創(chuàng)新才能突破大模型推理芯片的核心瓶頸
行云聯(lián)合創(chuàng)始人、CTO余洪敏談道，高質(zhì)量大模型最核心的需求就是極其變態(tài)的內(nèi)存需求，既要帶寬，又要容量。推理芯片核心瓶頸有：顯存容量，價(jià)格高昂，只有通過軟硬件協(xié)同創(chuàng)新才能解決。
行云致力于把AI基礎(chǔ)設(shè)施從超算變成消費(fèi)電子競爭，褐蟻是第一個(gè)十萬元級(jí)運(yùn)行DeepSeek滿血671B、FP8非量化且對話速度在20TPS以上的解決方案，用數(shù)量級(jí)碾壓的競爭力讓全行業(yè)對AI超算祛魅。
近期行云將推出蟻群，實(shí)現(xiàn)500~1000有效并發(fā)下最高質(zhì)量模型的流暢體驗(yàn)，價(jià)格在300~400萬價(jià)位，接近DeepSeek公有云的性價(jià)比；此外，計(jì)劃在明年年底推出自研GPU芯片，相比褐蟻性能將有數(shù)倍提升，集群化后，相比蟻群可以數(shù)倍提高有效并發(fā)。
▲行云集成電路聯(lián)合創(chuàng)始人、CTO余洪敏2、安謀科技鮑敏祺：NPU如何助力端側(cè)設(shè)備突破內(nèi)存、算力、功耗三堵墻？
安謀科技產(chǎn)品總監(jiān)鮑敏祺觀察到，端側(cè)設(shè)備正逐步承擔(dān)更多AI計(jì)算任務(wù)，端側(cè)AI模型在算法迭代、上下文長度擴(kuò)展和模型理解力提升等方面進(jìn)展迅速。
隨著模型的演進(jìn)，端側(cè)AI硬件也面臨新的需求：一是算力需求持續(xù)增長，計(jì)算精度從INT向FLOAT轉(zhuǎn)變，需通過多核協(xié)同實(shí)現(xiàn)算力提升；二是大模型對帶寬要求更高，可通過提升數(shù)據(jù)本地化程度減少數(shù)據(jù)傳輸距離，從而優(yōu)化能效比；三是需要優(yōu)化硬件中向量計(jì)算與矩陣計(jì)算的配比。
為應(yīng)對“內(nèi)存墻”、“算力墻”和“功耗墻”三大挑戰(zhàn)，安謀科技正升級(jí)其自研“周易”NPU產(chǎn)品，如擴(kuò)展數(shù)據(jù)類型支持、新增W4A16硬件加速和DSA加速功能、提供更為豐富的算子庫等，持續(xù)驅(qū)動(dòng)終端算力躍遷，助力產(chǎn)業(yè)把握端側(cè)AI“芯”機(jī)遇。
▲安謀科技產(chǎn)品總監(jiān)鮑敏祺3、實(shí)在智能歐陽小剛：Agent端側(cè)性能超GPT-4o 10%，一體機(jī)30分鐘開箱部署
實(shí)在智能合伙人、核心算法負(fù)責(zé)人歐陽小剛提到，算力需求與場景落地的雙向倒逼，正推動(dòng)智能體技術(shù)端側(cè)的探索革新。
其公司行業(yè)首發(fā)的通用智能體“實(shí)在Agent”，專注跨系統(tǒng)、鏈接各類軟件的辦公流程自動(dòng)化。其自研的實(shí)在TARS大模型和TARS-VL大模型分別在垂域任務(wù)理解性能超越GPT-4o達(dá)10個(gè)百分點(diǎn)，GUI多模態(tài)理解能力領(lǐng)先3%，而通用能力幾乎無損；同時(shí)，該模型支持私有化部署，深度融合RPA與智能體工作流，實(shí)現(xiàn)瀏覽器、桌面應(yīng)用、移動(dòng)端的無縫操作，支持一鍵流程編輯和智能體共享，降低30%重復(fù)開發(fā)成本。
歐陽小剛提到與惠普聯(lián)合打造的Z系列數(shù)字員工一體機(jī)：基于HP Z8 Fury G5工作站，得益于四塊NVIDIA 5880 Ada的強(qiáng)大算力，開箱30分鐘完成部署，核心業(yè)務(wù)數(shù)據(jù)全程本地處理。
▲實(shí)在智能合伙人、核心算法負(fù)責(zé)人歐陽小剛4、 白山云科技李金鋒：以邊緣計(jì)算破解AI推理時(shí)延與成本難題
白山云科技智算產(chǎn)品研發(fā)負(fù)責(zé)人李金鋒談到，AI推理面臨網(wǎng)絡(luò)時(shí)延與成本挑戰(zhàn)，對邊緣計(jì)算的需求日益增長。當(dāng)前的云邊端架構(gòu)依然適用：中心云集中計(jì)算，追求性能極致優(yōu)化；邊緣云在靠近用戶處提供算力，作為重要補(bǔ)充，現(xiàn)可處理百億參數(shù)內(nèi)大模型推理，顯著降低時(shí)延；終端算力則在保障數(shù)據(jù)隱私場景中發(fā)揮作用。
針對邊緣云節(jié)點(diǎn)分散帶來的算力管理難、任務(wù)調(diào)度復(fù)雜和單節(jié)點(diǎn)資源有限等挑戰(zhàn)，李金鋒介紹可通過全網(wǎng)任務(wù)調(diào)度、彈性算力調(diào)度、模型加載優(yōu)化及單節(jié)點(diǎn)推理性能優(yōu)化等方式解決。
依托覆蓋全球的1700多個(gè)具備計(jì)算、存儲(chǔ)、安全能力的數(shù)據(jù)節(jié)點(diǎn)及150多個(gè)海外運(yùn)營商資源，白山云能輕松升級(jí)GPU算力，有力支撐邊緣推理服務(wù)。
▲白山云科技智算產(chǎn)品研發(fā)負(fù)責(zé)人李金鋒5、Alluxio傅正佳：用去中心化架構(gòu)方案，解決AI數(shù)據(jù)湖困境
Alluxio首席架構(gòu)師傅正佳談道，AI 數(shù)據(jù)全鏈路各環(huán)節(jié)面臨的不同難題，以及環(huán)節(jié)間數(shù)據(jù)交互導(dǎo)致的資源浪費(fèi)與效率低下，其本質(zhì)都是數(shù)據(jù)湖困境的體現(xiàn)。
Alluxio介于分布式計(jì)算框架與存儲(chǔ)系統(tǒng)之間，可以做到對當(dāng)前AI Infra“零改造無侵入”，并提升數(shù)據(jù)安全性，還可以統(tǒng)一納管數(shù)據(jù)孤島，提供高性能緩存層。Alluxio采用去中心化架構(gòu)，支持100億以上對象，能夠降低數(shù)據(jù)工程復(fù)雜度與成本，提升模型迭代效率與數(shù)據(jù)方向速度。
Alluxio的核心技術(shù)包括協(xié)議轉(zhuǎn)換、數(shù)據(jù)緩存層以及虛擬數(shù)據(jù)湖等，可應(yīng)用于智駕、機(jī)器學(xué)習(xí)訓(xùn)練、智算、AI模型分發(fā)、科學(xué)計(jì)算等場景。基準(zhǔn)測試顯示，其性能與全球頂尖并行系統(tǒng)持平，成本更低，GPU利用率可達(dá)95%及以上。
▲Alluxio首席架構(gòu)師傅正佳6、浩云長盛趙亮：智算時(shí)代數(shù)據(jù)中心變革，液冷、超高壓直流成大勢所趨
浩云長盛集團(tuán)首席增長官（CGO）趙亮稱，隨著智算時(shí)代的到來，數(shù)據(jù)中心的算力密度不斷提升，同時(shí)，大模型推理和訓(xùn)推一體的需求也在增長。
這些變化對數(shù)據(jù)中心的供電和制冷系統(tǒng)提出了巨大挑戰(zhàn)，設(shè)計(jì)和架構(gòu)需要重大調(diào)整。如今，數(shù)據(jù)中心應(yīng)配備更高的層高和更強(qiáng)的承重能力，以滿足密度的提升，隨之而來的散熱問題讓液冷成為必然選擇。在電力層面，能夠減少能源轉(zhuǎn)換損耗、提升電力運(yùn)營效率的高壓直流技術(shù)正獲得廣泛采用。
此外，數(shù)據(jù)中心的選址也至關(guān)重要，需綜合考慮電力供應(yīng)便利性、運(yùn)維便利性、算力設(shè)備梯級(jí)利用和實(shí)際應(yīng)用場景，而非簡單地將其布局在能源成本較低的地區(qū)，因此把訓(xùn)推一體智算中心建設(shè)在一線城市周邊更有優(yōu)勢。
▲浩云長盛集團(tuán)首席增長官CGO趙亮7、矩向科技黃朝波：模算云破局算力浪費(fèi)，毛利躍升超10倍
上海矩向科技創(chuàng)始人兼CEO黃朝波指出，當(dāng)前智算中心深陷無序建設(shè)、架構(gòu)封閉、遠(yuǎn)離業(yè)務(wù)場景三重困局，導(dǎo)致區(qū)域算力閑置、資源利用率不足。
傳統(tǒng)硬件堆砌模式已無法滿足AI爆發(fā)需求，唯有通過整合算力、模型與應(yīng)用的模算云平臺(tái)重構(gòu)價(jià)值鏈，將電力轉(zhuǎn)化為算力、模型力，并深加工為應(yīng)用賦能能力，以此來實(shí)現(xiàn)算力服務(wù)毛利的躍遷。以3000P AI算力為例，服務(wù)毛利從智算中心的1億飆升至模算云的10多億，增幅超10倍。
模算云模式以輕資產(chǎn)實(shí)現(xiàn)高產(chǎn)出：政府可統(tǒng)籌閑置算力賦能中小企業(yè)，企業(yè)可通過開箱即用的MaaS服務(wù)降低AI門檻；技術(shù)上采用異構(gòu)協(xié)同，國產(chǎn)芯片覆蓋80%計(jì)算量，英偉達(dá)GPU兜底剩余需求，同時(shí)結(jié)合云邊端協(xié)同，進(jìn)一步降低推理成本，縮短業(yè)務(wù)落地周期。
▲上海矩向科技創(chuàng)始人兼CEO黃朝波8、趨動(dòng)科技張?jiān)鼋穑和ㄓ眯袠I(yè)GPU利用率不足30%，軟件定義AI算力成必然趨勢
趨動(dòng)科技技術(shù)總監(jiān)張?jiān)鼋鹬赋觯M管生成式AI算力市場熱度高漲，但非生成式AI的規(guī)模仍是其兩倍，從運(yùn)營層面來看，蘊(yùn)藏著巨大的收入潛力（IDC 2025）。在國內(nèi)眾多智算場景中，GPU平均利用率低至5%左右，主要原因在于異構(gòu)資源分配方式粗放、調(diào)度機(jī)制缺失以及管理效率低下等問題。
采用軟件定義AI算力的模式，通過軟件對算力基礎(chǔ)設(shè)施進(jìn)行重新構(gòu)建，實(shí)現(xiàn)硬件資源的按需動(dòng)態(tài)調(diào)用，能夠有效解決當(dāng)前異構(gòu)硬件利用率低、調(diào)度模式僵化等難題，避免因資源管理不善而引發(fā)的系統(tǒng)瓶頸。
張?jiān)鼋鸨硎荆磥恚浖x將成為智算中心的關(guān)鍵發(fā)展方向。在一系列行業(yè)實(shí)踐中，趨動(dòng)科技借助軟件定義技術(shù)，助力某客戶將整體GPU平均利用率從8%提升至35%，峰值平均利用率從15%躍升至60%。目前，趨動(dòng)科技已與數(shù)百家家來自運(yùn)營商、金融、能源電力、制造業(yè)等領(lǐng)域的客戶展開了深度合作。
消息來源：智東西
