密歇根大學(xué)的一項(xiàng)最新研究表明,培訓(xùn)大型語言模型的一種不那么浪費(fèi)的方法,如GTP系列,在相同的時(shí)間內(nèi)完成,最多能減少30%的能量。

這一方法可以節(jié)省足夠的能源,為110萬美元供電。2026年,根據(jù)富國銀行對(duì)人工智能電力需求的預(yù)測(cè)。國際貨幣基金組織(IMF)預(yù)測(cè),到2027年,數(shù)據(jù)中心可能占全球碳排放量的1.2%--以及隨之而來的水資源需求--這一預(yù)測(cè)也可能會(huì)受到影響。

一些專家說,這些成本可能被環(huán)境利益所抵消。他們認(rèn)為,人工智能可能成為應(yīng)對(duì)氣候變化的"游戲改變者",通過確定優(yōu)化供應(yīng)鏈和電網(wǎng)的方式,管理我們的能源需求,以及改進(jìn)對(duì)氣候變化的研究。 氣候變化 .不過,這并不能成為浪費(fèi)能源的借口,而且訓(xùn)練AI的部分動(dòng)力對(duì)訓(xùn)練時(shí)間和模型的準(zhǔn)確性沒有任何影響。

"沒有意義的時(shí)候,為什么要花錢呢?他是計(jì)算機(jī)科學(xué)和工程學(xué)的副教授,也是研究報(bào)告的作者。 第三十屆操作系統(tǒng)原則研討會(huì) 上周一。

"我們不能繼續(xù)建造越來越大數(shù)據(jù)中心因?yàn)槲覀儧]有能力管理他們,"喬杜里說。"如果我們能夠減少人工智能的能源消耗,我們就可以減少人工智能的碳足跡和冷卻需求,并允許更多的計(jì)算符合我們當(dāng)前的能源約束。"

當(dāng)人工智能訓(xùn)練在GPPS之間的分配不平均時(shí),就會(huì)產(chǎn)生能量浪費(fèi)。 計(jì)算機(jī)處理器 專門用于大型數(shù)據(jù)和圖形應(yīng)用。雖然它為廢物打開了大門,但要處理龐大的數(shù)據(jù)集,必須將工作分開。

"今天的人工智能模型太大了,它們不可能裝在一個(gè)計(jì)算機(jī)處理器里,"計(jì)算機(jī)科學(xué)和工程學(xué)博士生、該研究的第一位作者鐘智元說。"他們需要被訓(xùn)練成成千上萬個(gè)處理器,但實(shí)際上不可能將所有處理器的模型劃分為完全相等的尺寸。"

訓(xùn)練作業(yè)很難平均分配,因?yàn)橛行┤蝿?wù)需要在同一個(gè)處理器上組合在一起--就像系列書的每一個(gè)部分將如何被組合在一個(gè)有組織的書架上一樣。根據(jù)任務(wù)的分組方式,有些處理器可能會(huì)陷入等同于大英百科全書的AI培訓(xùn)中,而另一些處理器則會(huì)被分配到幻想三部曲中。

由于當(dāng)前的訓(xùn)練方法以最快的速度運(yùn)行每一個(gè)處理器,具有較輕負(fù)載的處理器將在其他處理器之前完成它們的計(jì)算。這并不能加快訓(xùn)練的速度,在每個(gè)處理器完成工作之前,訓(xùn)練還沒有完成--但這是一種浪費(fèi),因?yàn)楦斓挠?jì)算需要更多的能量。此外,硬件故障或網(wǎng)絡(luò)延遲等問題會(huì)減緩單個(gè)處理器的計(jì)算速度,造成能源浪費(fèi)。

為了節(jié)約能源研究人員開發(fā)了 軟件工具 名叫珀?duì)栃匏?它確定了一個(gè)關(guān)鍵路徑,或一系列需要最長(zhǎng)時(shí)間才能完成的子任務(wù)。接下來,珀?duì)栃匏箿p緩了處理器的速度,因?yàn)樘幚砥鳑]有走在關(guān)鍵的道路上,所以他們都能在同一時(shí)間完成工作--消除不必要的電源使用。

喬杜里說:"降低人工智能的電力成本會(huì)對(duì)公平使用人工智能產(chǎn)生重要影響。""如果一個(gè)國家沒有足夠的 權(quán)力 要運(yùn)行一個(gè)大型模型,他們可能需要從遙遠(yuǎn)的地方使用服務(wù),或者無法運(yùn)行更小、更不精確的模型。這種差距可能進(jìn)一步使不同社區(qū)之間的差距永久化。"

這個(gè)小組通過訓(xùn)練GTP-3,另外三個(gè)測(cè)試了珀?duì)栃匏勾笮驼Z言模型以及一個(gè)電腦視覺模型。珀?duì)栃匏故且粋€(gè)開放來源的工具,可以作為宙斯是測(cè)量和優(yōu)化人工智能能源消耗的工具。