密歇根大學的一項最新研究表明,培訓大型語言模型的一種不那么浪費的方法,如GTP系列,在相同的時間內(nèi)完成,最多能減少30%的能量。

這一方法可以節(jié)省足夠的能源,為110萬美元供電。2026年,根據(jù)富國銀行對人工智能電力需求的預測。國際貨幣基金組織(IMF)預測,到2027年,數(shù)據(jù)中心可能占全球碳排放量的1.2%--以及隨之而來的水資源需求--這一預測也可能會受到影響。

一些專家說,這些成本可能被環(huán)境利益所抵消。他們認為,人工智能可能成為應(yīng)對氣候變化的"游戲改變者",通過確定優(yōu)化供應(yīng)鏈和電網(wǎng)的方式,管理我們的能源需求,以及改進對氣候變化的研究。 氣候變化 .不過,這并不能成為浪費能源的借口,而且訓練AI的部分動力對訓練時間和模型的準確性沒有任何影響。

"沒有意義的時候,為什么要花錢呢?他是計算機科學和工程學的副教授,也是研究報告的作者。 第三十屆操作系統(tǒng)原則研討會 上周一。

"我們不能繼續(xù)建造越來越大數(shù)據(jù)中心因為我們沒有能力管理他們,"喬杜里說。"如果我們能夠減少人工智能的能源消耗,我們就可以減少人工智能的碳足跡和冷卻需求,并允許更多的計算符合我們當前的能源約束。"

當人工智能訓練在GPPS之間的分配不平均時,就會產(chǎn)生能量浪費。 計算機處理器 專門用于大型數(shù)據(jù)和圖形應(yīng)用。雖然它為廢物打開了大門,但要處理龐大的數(shù)據(jù)集,必須將工作分開。

"今天的人工智能模型太大了,它們不可能裝在一個計算機處理器里,"計算機科學和工程學博士生、該研究的第一位作者鐘智元說。"他們需要被訓練成成千上萬個處理器,但實際上不可能將所有處理器的模型劃分為完全相等的尺寸。"

訓練作業(yè)很難平均分配,因為有些任務(wù)需要在同一個處理器上組合在一起--就像系列書的每一個部分將如何被組合在一個有組織的書架上一樣。根據(jù)任務(wù)的分組方式,有些處理器可能會陷入等同于大英百科全書的AI培訓中,而另一些處理器則會被分配到幻想三部曲中。

由于當前的訓練方法以最快的速度運行每一個處理器,具有較輕負載的處理器將在其他處理器之前完成它們的計算。這并不能加快訓練的速度,在每個處理器完成工作之前,訓練還沒有完成--但這是一種浪費,因為更快的計算需要更多的能量。此外,硬件故障或網(wǎng)絡(luò)延遲等問題會減緩單個處理器的計算速度,造成能源浪費。

為了節(jié)約能源研究人員開發(fā)了 軟件工具 名叫珀爾修斯 它確定了一個關(guān)鍵路徑,或一系列需要最長時間才能完成的子任務(wù)。接下來,珀爾修斯減緩了處理器的速度,因為處理器沒有走在關(guān)鍵的道路上,所以他們都能在同一時間完成工作--消除不必要的電源使用。

喬杜里說:"降低人工智能的電力成本會對公平使用人工智能產(chǎn)生重要影響。""如果一個國家沒有足夠的 權(quán)力 要運行一個大型模型,他們可能需要從遙遠的地方使用服務(wù),或者無法運行更小、更不精確的模型。這種差距可能進一步使不同社區(qū)之間的差距永久化。"

這個小組通過訓練GTP-3,另外三個測試了珀爾修斯大型語言模型以及一個電腦視覺模型。珀爾修斯是一個開放來源的工具,可以作為宙斯是測量和優(yōu)化人工智能能源消耗的工具。