創(chuàng)澤機器人
CHUANGZE ROBOT
當(dāng)前位置:首頁 > 新聞資訊 > 人工智能應(yīng)用 > 大模型企業(yè)發(fā)展面臨的問題與困境-算力 資金 人才

大模型企業(yè)發(fā)展面臨的問題與困境-算力 資金 人才

來源:甲子光年     編輯:創(chuàng)澤   時間:2024/6/20   主題:其他 [加盟]

1 大模型訓(xùn)練和應(yīng)用面臨著算力和能耗算力方面的挑戰(zhàn)

大模型需要大量計算資源,導(dǎo)致全球算力需求指數(shù)級增長,對全社會信息基礎(chǔ)設(shè)施和眾多企業(yè)、科研機構(gòu)的大模型研發(fā)帶來巨大壓力。

能耗方面,大模型對能源的巨大需求導(dǎo)致人工智能能源消耗占全球能源消耗的3%左右,到2025年將消耗全球15%的電能,給全球環(huán)境治理帶來挑 戰(zhàn)。我國大模型發(fā)展帶來的高能耗可能增加碳達(dá)峰、碳中和壓力。

算力短缺:大模型通常需要具有數(shù)十億乃至上萬億個參數(shù),訓(xùn)練時用到 數(shù)萬億個Token,這就需要消耗巨大的算力。算力需求隨著 大模型的發(fā)展而呈指數(shù)級增長,對全球算力規(guī)模提出了巨大 的要求。大型預(yù)訓(xùn)練模型的訓(xùn)練和調(diào)優(yōu)過程需要消耗巨大的 算力資源。例如,訓(xùn)練ChatGPT所需的算力相當(dāng)于64個英 偉達(dá)A100 GPU訓(xùn)練1年的時間。此外,大模型的日常運營 和優(yōu)化也需要大量的算力投入。預(yù)計到2030年,全球算力 總規(guī)模將達(dá)到56ZFlops,其中智能算力成為推動算力增長 的主要動力。這對于社會的信息基礎(chǔ)設(shè)施建設(shè)和企業(yè)、科研 機構(gòu)的大模型研發(fā)都帶來了巨大的挑戰(zhàn)。 • 根據(jù)工信部的數(shù)據(jù),2022年全球智能算力中,美國占45% 的份額,中國占28%的份額,美國智能算力規(guī)模為我國的 1.6倍,在中美算力競爭中,我國仍然處于相對劣勢的一方。

能耗巨大:大模型對算力的巨大需求,帶來了對能源的巨大 消耗。人工智能服務(wù)器的功率較普通服務(wù)器高6至 8倍,訓(xùn)練大模型所需的能耗是常規(guī)云工作的3倍。 據(jù)估計,目前人工智能的能源消耗占全球能源消 耗的3%左右,到2025 年,人工智能將消耗全球 15%的電能。人工智能的快速發(fā)展將對能源消耗 和環(huán)境產(chǎn)生巨大影響。 • 據(jù)估計,GPT-4一次訓(xùn)練的耗電量相當(dāng)于1200個 中國人一年的用電量,僅占模型實際使用時的40 %,實際運行階段將消耗更多能源。一些大型模 型運行時的碳排放量巨大,給全球環(huán)境治理帶來 挑戰(zhàn)。我國大模型發(fā)展的高能耗可能增加碳達(dá)峰 和碳中和的壓力。

2 大模型在數(shù)據(jù)和資金方面也面臨著挑戰(zhàn)

大模型面臨的挑戰(zhàn)包括數(shù)據(jù)獲取便利性、數(shù)據(jù)來源合法性、數(shù)據(jù)質(zhì)量可靠性、數(shù)據(jù)使用安全性、資金投入等方面的挑戰(zhàn)。

資金投入方面,大模型成本高昂,包括模型開發(fā)成本、訓(xùn)練成本、算力成本、數(shù)據(jù)成本、運維成本等,對普通企業(yè)和科研機構(gòu)而言,資金成為難 以逾越的“門檻”。

數(shù)據(jù)規(guī)模與質(zhì)量待提高:數(shù)據(jù)獲取方面,專用類大模型需要專業(yè)數(shù)據(jù),而這些數(shù) 據(jù)往往屬于企業(yè)、研究機構(gòu)等實體,增加了訓(xùn)練難度。 • 數(shù)據(jù)來源合法性方面,個人信息保護(hù)意識的提高使得數(shù) 據(jù)合法使用成為問題。 • 數(shù)據(jù)質(zhì)量可靠性方面,開源數(shù)據(jù)集雖然數(shù)量巨大,但質(zhì) 量良莠不齊,從中提取符合預(yù)訓(xùn)練要求的高質(zhì)量數(shù)據(jù)面 臨很大挑戰(zhàn)。 • 數(shù)據(jù)使用安全性方面,如何保證使用的數(shù)據(jù)不帶偏見, 以及如何保證人工智能制造的數(shù)據(jù)本身的安全性,都是 需要解決的問題。

資金緊缺:大模型訓(xùn)練開發(fā)成高昂,其成本主要由模型開發(fā)成本、訓(xùn)練成本、算力 成本、數(shù)據(jù)成本、運維成本等構(gòu)成,僅訓(xùn)練成本便動輒高達(dá)數(shù)百萬美元。 以Meta大語音模型LLaMA為例,在多達(dá)1.4萬億的數(shù)據(jù)集上,使用 2000多個英偉達(dá)A100 GPU,訓(xùn)練了21天,花費或高達(dá)1000萬美元。 根據(jù)華為公布的消息,開發(fā)和訓(xùn)練一次人工智能大模型的成本高達(dá) 1200萬美元。 • 大模型巨大的資金投入,更是將很多小型研究機構(gòu)和中小型企業(yè)拒之門 外,導(dǎo)致大模型研發(fā)都集中在頭部企業(yè)和研發(fā)機構(gòu),加劇了不平等現(xiàn)象。 • 在大模型的投資方面,根據(jù)美國斯坦福大學(xué)2022年的報告,美國和中 國位列全球投資總額的前兩位,但美國的投資是中國的3倍,中國在資 金投入方面還有較大差距。

3 大模型發(fā)展在技術(shù)和人才方面也面臨著挑戰(zhàn)

針對大模型技術(shù),國內(nèi)企業(yè)與歐美國家存在差距,主要體現(xiàn)在底層架構(gòu)設(shè)計和硬件技術(shù)方面。在底層架構(gòu)設(shè)計方面,國內(nèi)尚無類似的底層架構(gòu), 大模型的預(yù)訓(xùn)練方面只能“在別人的地基上蓋房子”;在硬件技術(shù)方面,美國占據(jù)絕對領(lǐng)先地位,我國自研能力不足,對美國進(jìn)口依賴程度高, 存在“卡脖子”風(fēng)險。

在人才方面,國內(nèi)大模型人才數(shù)量嚴(yán)重不足,與美國相比頂尖人才數(shù)量少,制約了大模型研發(fā)的快速發(fā)展。具體表現(xiàn)為人才數(shù)量不足、人才質(zhì)量 不夠高和人才外流嚴(yán)重。針對以上挑戰(zhàn),需要加強國內(nèi)大模型技術(shù)的研發(fā),提高自研能力,降低對美國進(jìn)口的依賴程度;同時,需要加強人才培 養(yǎng),提高人才質(zhì)量,減少頂尖人才的流失。

技術(shù)存在差距:大模型技術(shù)涉及軟件和硬件兩方面: • 從軟件技術(shù)看,國內(nèi)企業(yè)與歐美國家存在差距。底層架構(gòu)設(shè)計方面,國內(nèi) 尚無類似谷歌的Transformer模型,對大模型的預(yù)訓(xùn)練只能依賴外部技術(shù)。 在迭代升級和更新?lián)Q代方面,國內(nèi)企業(yè)也落后于歐美企業(yè),競爭劣勢明顯。 • 從硬件技術(shù)看,在人工智能GPU方面,美國占據(jù)絕對領(lǐng)先地位,我國自研 能力不足,對進(jìn)口依賴較高,存在風(fēng)險。當(dāng)前大部分大模型訓(xùn)練所用的 GPU由美國英偉達(dá)公司生產(chǎn),國產(chǎn)GPU與其性能差距明顯。美國已禁止向 中國銷售A100,而英偉達(dá)推出了性能更強的H100,并將優(yōu)先部署在自家 服務(wù)器上。

頂尖人才嚴(yán)重不足: 國內(nèi)大模型人才數(shù)量嚴(yán)重不足,與美國相比頂尖人才數(shù)量少,制約了大模型研發(fā)發(fā)展。 • 首先,人才數(shù)量嚴(yán)重不足。我國人工智能人才缺口超過500萬,供需比例嚴(yán)重失衡, 人工智能成為“最缺人”的行業(yè)。 • 其次,人才質(zhì)量不夠高。與美國相比,國內(nèi)缺乏頂尖算法人才,數(shù)量嚴(yán)重不足。美 國在全球最具影響力的人工智能學(xué)者榜單中占據(jù)主導(dǎo)地位,中國學(xué)者數(shù)量遠(yuǎn)遠(yuǎn)落后。 • 此外,人才外流問題也十分嚴(yán)重。許多國內(nèi)優(yōu)秀人才選擇出國深造并留在國外,導(dǎo) 致頂尖人才的流失。這加大了國內(nèi)大模型研發(fā)與美國的差距,給我國大模型研發(fā)帶 來嚴(yán)峻挑戰(zhàn)。




中國大模型開源生態(tài)體系代表性廠商—華為,鵬程·盤古

鵬程·盤古模型是全球首個全開源2000億參數(shù)的自回歸中文預(yù)訓(xùn)練語言大模型,在知識問答、知識檢索、知識推理、閱讀理解等文本生成領(lǐng)域表現(xiàn)突出

大模型開源生態(tài)體系的創(chuàng)新主體與創(chuàng)新機制-開源是未來

開源大模型是基于開源軟件模式,由全球開發(fā)者共同參與、共同維護(hù)、共同發(fā)展的機器學(xué)習(xí)模型。開源由開源規(guī)則、開源對象、開源基 礎(chǔ)設(shè)施、參與主體組成

人工智能技術(shù)架構(gòu)的演變與新趨勢-七大核心能力

第三階段AI聚焦學(xué)習(xí)環(huán)節(jié),注重大模型的建設(shè),AI能力覆蓋學(xué)習(xí)和執(zhí)行;第四階段則聚焦執(zhí)行與社會協(xié)作環(huán)節(jié),開始注重人機交互協(xié)作,注重人類對人工智能的反饋訓(xùn)練

發(fā)展人工智能產(chǎn)業(yè)的重要性與新機遇

數(shù)據(jù)、算力、算法作為人工智能發(fā)展的核心三要素已經(jīng)具備基礎(chǔ)條件;大數(shù)據(jù)+大算力+通用大模型成為新的發(fā)展范式;大模型開源生態(tài)成為推動AI產(chǎn)業(yè)發(fā)展的重要模式

人工智能開源大模型生態(tài)研究-開源為先 場景突破

深入分析了人工智能大模型的開源生態(tài)體系,探討了其在不同行業(yè)中的應(yīng)用,并展望了未來的商業(yè)化潛力與挑戰(zhàn),閉源大模型的融資規(guī)模高于開源大模型

重塑與創(chuàng)造: Al+ 洞察報告2024-AI產(chǎn)業(yè)的發(fā)展現(xiàn)狀

提供了詳細(xì)的數(shù)據(jù)分析、圖表和預(yù)測模型,以及對未來AI技術(shù)和應(yīng)用的深入探討。整體而言,報告對AI產(chǎn)業(yè)的未來發(fā)展持樂觀態(tài)度,并認(rèn)為AI將深刻影響社會生產(chǎn)力和人類生活的各個方面

2023生成式人工智能道德&合規(guī)風(fēng)險白皮書:如何理解和應(yīng)對生成式人工智能引發(fā)的數(shù)據(jù)合規(guī)風(fēng)險

生成式人工智能技術(shù)可以用于參與數(shù)字內(nèi)容創(chuàng)作,突破傳統(tǒng)內(nèi)容創(chuàng)作的數(shù)量約束,有著更為流暢和高效的人機 交互模式,減少了重復(fù)性的任務(wù)負(fù)擔(dān),實現(xiàn)生產(chǎn)力解放

AIoT白皮書:解鎖未來商業(yè)價值的關(guān)鍵_AIoT產(chǎn)業(yè)智能白皮書2023

面對行業(yè)用戶多樣的智能化需求,AI如何真正走出實驗探索期,實現(xiàn)與不同行業(yè)的眾多業(yè)務(wù)場景的融合,幫助企業(yè)實現(xiàn)商業(yè)價值,是AI在企業(yè)數(shù)字化轉(zhuǎn)型中面臨的首要挑戰(zhàn)

AI時代來襲:中小企業(yè)如何抓住千載難逢的發(fā)展機遇

挑選了5個典型案例進(jìn)行分析,深入分析中小企業(yè)在 AI 時代的機遇,評估中小企業(yè)當(dāng)前智能化的現(xiàn)狀,找出智能化過程中遇到的痛點, 給出中小企業(yè)應(yīng)對 AI 時代的路徑建議

銀行保險金融機構(gòu)生成式人工智能戰(zhàn)略報告-探討并評估這些大語言模型的綜合性能

金融行業(yè)中不少細(xì)分領(lǐng)域的領(lǐng)先者已經(jīng)開始將生成式人工智能引入業(yè)務(wù)實踐,其卓越的內(nèi)容理解和創(chuàng)造能力將對金融服務(wù)行業(yè)不同細(xì)分賽道帶來極大的效能提升

國家礦山安全監(jiān)察局發(fā)布《礦山智能化標(biāo)準(zhǔn)體系框架》2023年第2號

將煤礦和非煤礦山智能化標(biāo)準(zhǔn)建設(shè)納入同一體系,通盤考慮、統(tǒng)籌規(guī)劃,注重大數(shù)據(jù)、人工智能、機器人等新技術(shù)與傳統(tǒng)礦山行業(yè)深度融合

南露天煤礦 5G+無人駕駛系統(tǒng)-新疆天池能源有限責(zé)任公司

核心的智能調(diào)度模塊預(yù)計提升整體生產(chǎn)效率 10~30%,按照 1000mt/a 生產(chǎn)規(guī)模計算,每年可多 開采 100~300 萬 t 原煤,年經(jīng)濟效益預(yù)計大于 3 億元
資料獲取
人工智能應(yīng)用
== 最新資訊 ==
大模型企業(yè)發(fā)展面臨的問題與困境-算力 資
中國大模型開源生態(tài)體系代表性廠商—華為,
大模型開源生態(tài)體系的創(chuàng)新主體與創(chuàng)新機制-
人工智能技術(shù)架構(gòu)的演變與新趨勢-七大核心
發(fā)展人工智能產(chǎn)業(yè)的重要性與新機遇
人工智能開源大模型生態(tài)研究-開源為先 場
創(chuàng)澤機器人丨“C位”亮相2024港澳山東
北京市人工智能大模型行業(yè)應(yīng)用分析報告-案
機械臂行業(yè)發(fā)展政策-近四年相關(guān)政策整理
新材料產(chǎn)業(yè)深度報告:人形機器人帶來新材料
2024年電商發(fā)展報告:頭部平臺積極推動
2023生成式人工智能道德&合規(guī)風(fēng)險白皮
重塑與創(chuàng)造: Al+ 洞察報告2024-
AI應(yīng)用專題:百花齊放,靜待殺手級應(yīng)用
2024人工智能大模型的技術(shù)崗位與能力培
== 機器人推薦 ==
迎賓講解服務(wù)機器人

服務(wù)機器人(迎賓、講解、導(dǎo)診...)

智能消毒機器人

智能消毒機器人

機器人開發(fā)平臺

機器人開發(fā)平臺


機器人底盤 Disinfection Robot 消毒機器人  講解機器人  迎賓機器人  移動機器人底盤  商用機器人  智能垃圾站  智能服務(wù)機器人  大屏機器人  霧化消毒機器人  紫外線消毒機器人  消毒機器人價格  展廳機器人  服務(wù)機器人底盤  核酸采樣機器人  機器人代工廠  智能配送機器人  噴霧消毒機器人  圖書館機器人  導(dǎo)引機器人  移動消毒機器人  導(dǎo)診機器人  迎賓接待機器人  導(dǎo)覽機器人  酒店送物機器人  云跡科技潤機器人  云跡酒店機器人 
版權(quán)所有 創(chuàng)澤智能機器人集團股份有限公司 中國運營中心:北京 清華科技園九號樓5層 中國生產(chǎn)中心:山東日照太原路71號
銷售1:4006-935-088 銷售2:4006-937-088 客服電話: 4008-128-728