2020年5月底OpenAI發(fā)布了有史以來最強(qiáng)的NLP預(yù)訓(xùn)練模型GPT-3，最大的GPT-3模型參數(shù)達(dá)到了1750億個參數(shù)。論文《Language Models are Few-Shot Learners》長達(dá)74頁已發(fā)布在arXiv。
有網(wǎng)友估算最大的GPT-3模型大小大約有700G，這個大小即使OpenAI公開模型，我們一般的電腦也無法使用。一般需要使用分布式集群才能把這個模型跑起來。雖然OpenAI沒有公布論文的花費(fèi)，不過有網(wǎng)友估計這篇論文大約花費(fèi)了上千萬美元用于模型訓(xùn)練。
如此驚人的模型在模型的設(shè)計上和訓(xùn)練上有什么特別之處嗎？答案是沒有。作者表示GPT-3的模型架構(gòu)跟GPT-2是一樣的，只是使用了更多的模型參數(shù)。模型訓(xùn)練也跟GPT-2是一樣的，使用預(yù)測下一個詞的方式來訓(xùn)練語言模型，只不過GPT-3訓(xùn)練時使用了更多的數(shù)據(jù)。
既然這樣，那這只怪獸特別之處是什么？GPT-3論文的核心在于下圖：
達(dá)摩院金榕教授介紹了語音、自然語言處理、計算機(jī)視覺三大核心AI技術(shù)的關(guān)鍵進(jìn)展，并就AI技術(shù)在在實際應(yīng)用中的關(guān)鍵挑戰(zhàn)，以及達(dá)摩院應(yīng)對挑戰(zhàn)的創(chuàng)新實踐進(jìn)行了解讀
新一代移動端深度學(xué)習(xí)推理框架TNN，通過底層技術(shù)優(yōu)化實現(xiàn)在多個不同平臺的輕量部署落地，性能優(yōu)異、簡單易用。騰訊方面稱，基于TNN，開發(fā)者能夠輕松將深度學(xué)習(xí)算法移植到手機(jī)端高效的執(zhí)行，開發(fā)出人工智能 App，真正將 AI 帶到指尖
新加坡國立大學(xué)NExT中心的王翔博士分析了知識圖譜在個性化推薦領(lǐng)域的應(yīng)用背景，并詳細(xì)介紹了課題組在個性化推薦中的相關(guān)研究技術(shù)和進(jìn)展，包括基于路徑、基于表征學(xué)習(xí)、基于圖神經(jīng)網(wǎng)絡(luò)等知識圖譜在推薦系統(tǒng)中的融合技術(shù)
根據(jù)各種指法的具體特點(diǎn),對時頻網(wǎng)格圖、時域網(wǎng)格圖、頻域網(wǎng)格圖劃分出若干個不同的計算區(qū)域,并以每個計算區(qū)域的均值與標(biāo)準(zhǔn)差作為指法自動識別的特征使用，用于基于機(jī)器學(xué)習(xí)方法的指法自動識別
Tube Feature Aggregation Network（TFAN）新方法，即利用時序信息來輔助當(dāng)前幀的遮擋行人檢測，目前該方法已在 Caltech 和 NightOwls 兩個數(shù)據(jù)集取得了業(yè)界領(lǐng)先的準(zhǔn)確率
姚霆指出，當(dāng)前的多模態(tài)技術(shù)還是屬于狹隘的單任務(wù)學(xué)習(xí)，整個訓(xùn)練和測試的過程都是在封閉和靜態(tài)的環(huán)境下進(jìn)行，這就和真實世界中開放動態(tài)的應(yīng)用場景存在一定的差異性
優(yōu)酷智能檔突破“傳統(tǒng)自適應(yīng)碼率算法”的局限，解決視頻觀看體驗中高清和流暢的矛盾
通過使用仿真和量化指標(biāo)，使基準(zhǔn)測試能夠通用于許多操作領(lǐng)域，但又足夠具體，能夠提供系統(tǒng)的有關(guān)信息
基于內(nèi)容圖譜結(jié)構(gòu)化特征與索引更新平臺，在結(jié)構(gòu)化方面打破傳統(tǒng)的數(shù)倉建模方式，以知識化、業(yè)務(wù)化、服務(wù)化為視角進(jìn)行數(shù)據(jù)平臺化建設(shè)，來沉淀內(nèi)容、行為、關(guān)系圖譜，目前在優(yōu)酷搜索、票票、大麥等場景開始進(jìn)行應(yīng)用
NVIDIA解決方案架構(gòu)師王閃閃講解了BERT模型原理及其成就，NVIDIA開發(fā)的Megatron-BERT
自然語言處理技術(shù)的應(yīng)用和研究領(lǐng)域發(fā)生了許多有意義的標(biāo)志性事件，技術(shù)進(jìn)展方面主要體現(xiàn)在預(yù)訓(xùn)練語言模型、跨語言 NLP/無監(jiān)督機(jī)器翻譯、知識圖譜發(fā)展 + 對話技術(shù)融合、智能人機(jī)交互、平臺廠商整合AI產(chǎn)品線
下一個十年，智能人機(jī)交互、多模態(tài)融合、結(jié)合領(lǐng)域需求的 NLP 解決方案建設(shè)、知識圖譜結(jié)合落地場景等將會有突破性變化
