馬斯克超級計算機(jī)算力將擴(kuò)大十倍!曾被黃仁勛稱作“奇跡”
當(dāng)?shù)貢r間12月5日,美國大孟菲斯商會(Greater Memphis Chamber)發(fā)表聲明稱,馬斯克的人工智能初創(chuàng)公司xAI承諾將其超級計算機(jī)項目Colossus的算力擴(kuò)大十倍,未來將搭載100萬塊GPU,從而對抗谷歌、OpenAI和Anthropic等競爭對手。
Colossus不僅被業(yè)內(nèi)視為世界上最大的超級計算機(jī),也是歷史上建設(shè)速度最快的超級計算機(jī)項目,馬斯克今年早些時候僅用了3個月就完成了該計算機(jī)集群的建設(shè)。英偉達(dá)創(chuàng)始人CEO黃仁勛曾表示,Colossus這種規(guī)模的數(shù)據(jù)中心通常需要三年才能建成,他表示世界上僅有馬斯克一人能如此高效地建成這一項目,堪稱“奇跡”。
該超級計算機(jī)目前運(yùn)行著由10萬多塊英偉達(dá)GPU組成的集群。這些芯片用于訓(xùn)練xAI的聊天機(jī)器人Grok,但Grok的用戶數(shù)量少于市場領(lǐng)導(dǎo)者OpenAI的大模型ChatGPT或谷歌的大模型Gemini。
馬斯克計劃的Colossus擴(kuò)張項目預(yù)計將需要數(shù)百億美元的投資,此外,為支持如此大規(guī)模數(shù)據(jù)中心的建設(shè),還需要大規(guī)模的服務(wù)器供電和冷卻系統(tǒng),這些都將產(chǎn)生高昂的成本。
另據(jù)大孟菲斯商會最新的聲明,除了馬斯克的xAI之外,英偉達(dá)、戴爾和超微電腦(SuperMicro)等公司也將在孟菲斯擴(kuò)張。今年早些時候,戴爾和超微電腦宣布將為xAI提供服務(wù)器機(jī)架。
馬斯克正在數(shù)據(jù)中心基礎(chǔ)設(shè)施上進(jìn)行巨大的投入。xAI今年已融資約110億美元的資金,其中大部分資金都被用于購買英偉達(dá)的GPU芯片。
根據(jù)網(wǎng)站LessWrong近日發(fā)表的一篇博客數(shù)據(jù)顯示,根據(jù)公開數(shù)據(jù)對英偉達(dá)芯片的產(chǎn)量以及各大科技巨頭的GPU數(shù)量預(yù)估,截止目前,全球擁有GPU數(shù)量最多的公司分別為谷歌、微軟、Meta、亞馬遜以及xAI。
上述網(wǎng)站數(shù)據(jù)顯示,如以H100芯片算力來計算,谷歌擁有100萬至150萬塊等效H100,明年預(yù)計達(dá)到350萬至420萬塊;微軟擁有75萬至90萬塊等效H100,明年預(yù)計達(dá)到250萬至310萬塊;Meta擁有55萬至65萬塊等效H100,明年預(yù)計達(dá)到190萬至250萬塊;亞馬遜擁有25萬至40萬塊等效H100,明年預(yù)計達(dá)到130萬至160萬塊;xAI擁有10萬塊等效H100,明年預(yù)計達(dá)到55萬至100萬塊。
這意味著,馬斯克的xAI要趕上谷歌、微軟等巨頭科技還需要付出很大的努力。目前,xAI使用了大約2萬塊H100訓(xùn)練Grok 2大模型,并計劃用10萬塊H100訓(xùn)練Grok 3大模型。隨著英偉達(dá)最新一代Blackwell開始大量出貨,馬斯克宣稱,將在2025年夏天部署一個有30萬塊Blackwell芯片的運(yùn)算集群。
一份最新發(fā)布的2024 AI現(xiàn)狀報告對Blackwell芯片采購量進(jìn)行了估算。報告稱,大型云計算公司正在大規(guī)模采購英偉達(dá)的GB200系統(tǒng):微軟介于70萬到140萬塊之間,谷歌為40萬塊,OpenAI也將擁有至少40萬塊,亞馬遜AWS為36萬塊。
過去一年,科技公司都在大力爭奪人工智能芯片資源,并積極投入AI基礎(chǔ)設(shè)施建設(shè)。根據(jù)風(fēng)投機(jī)構(gòu)Menlo Ventures的最新數(shù)據(jù),生成式AI市場的收入預(yù)計將在十年內(nèi)超過1萬億美元,而今年企業(yè)在生成式AI上的支出激增500%。
(本文來自第一財經(jīng))
轉(zhuǎn)載原創(chuàng)文章請注明,轉(zhuǎn)載自資陽天行健機(jī)車配件有限公司,原文地址:http://www.yuanzhouxinwen.cn/post/4430.html