大規(guī)模預(yù)訓(xùn)練模型，人工智能技術(shù)新高地。

在這一AI前沿領(lǐng)域，由百度公司打造的文心大模型家族，成為千行百業(yè)AI開(kāi)發(fā)的基座大模型，降低了AI產(chǎn)業(yè)應(yīng)用門檻。

產(chǎn)業(yè)需要大模型，因?yàn)樗芗铀僦悄苌?jí)。在保險(xiǎn)領(lǐng)域，文心大模型的智能解析能力，使文本處理效率提升30倍；在人力資源領(lǐng)域，文心大模型幫助候選人信息智能分類，模型識(shí)別準(zhǔn)確率達(dá)99%；在醫(yī)療領(lǐng)域，文心大模型將每份病案的檢查時(shí)間，從30分鐘縮短到了秒級(jí)別……

“文心大模型來(lái)源于產(chǎn)業(yè)實(shí)踐，同時(shí)服務(wù)于產(chǎn)業(yè)實(shí)踐，是在實(shí)踐中建設(shè)起來(lái)的大模型。”百度集團(tuán)副總裁吳甜在采訪中說(shuō)，通過(guò)大模型與國(guó)產(chǎn)深度學(xué)習(xí)框架融合發(fā)展，百度打造了自主創(chuàng)新的AI底座，真正發(fā)揮大模型驅(qū)動(dòng)AI規(guī)模化應(yīng)用的產(chǎn)業(yè)價(jià)值。

圖為百度集團(tuán)副總裁吳甜

融合創(chuàng)新 力攻世界性技術(shù)難關(guān)

2019年，百度開(kāi)始深耕預(yù)訓(xùn)練模型研發(fā)，并持續(xù)投入大模型的創(chuàng)新升級(jí)。2021年底，百度聯(lián)合鵬城實(shí)驗(yàn)室發(fā)布全球首個(gè)知識(shí)增強(qiáng)千億大模型——鵬城-百度·文心。

參數(shù)規(guī)模達(dá)2600億，在60多項(xiàng)任務(wù)上取得更好效果，如此“硬核”的文心大模型，在應(yīng)用上具備哪些優(yōu)勢(shì)？在業(yè)內(nèi)人士看來(lái)，它通用性好、泛化性強(qiáng)，開(kāi)發(fā)難度更小，標(biāo)注數(shù)據(jù)可以更少，AI開(kāi)發(fā)和應(yīng)用門檻更低，更貼近真實(shí)場(chǎng)景應(yīng)用需求。

真實(shí)世界中的數(shù)據(jù)是有規(guī)律可循的。以人的學(xué)習(xí)來(lái)類比，預(yù)訓(xùn)練大模型是解決AI模型的通識(shí)教育，得以更高效地從現(xiàn)實(shí)世界井噴式產(chǎn)生的數(shù)據(jù)中進(jìn)行學(xué)習(xí)。

“我們?cè)O(shè)計(jì)多種任務(wù)，讓模型可以在海量的數(shù)據(jù)當(dāng)中進(jìn)行自監(jiān)督學(xué)習(xí)。”吳甜說(shuō)，這種機(jī)制帶來(lái)的最大好處，就是找到了一種有效的數(shù)據(jù)建模方法，把天然存在的大量數(shù)據(jù)利用起來(lái)，打破了原來(lái)一定要精標(biāo)數(shù)據(jù)才能學(xué)習(xí)的瓶頸。

在這樣一套機(jī)制之下，很多無(wú)標(biāo)注數(shù)據(jù)都可以用來(lái)學(xué)習(xí)，而且模型學(xué)習(xí)的數(shù)據(jù)越來(lái)越大，模型也就相應(yīng)越來(lái)越大，形成通用的基礎(chǔ)模型。應(yīng)用時(shí)，只要針對(duì)場(chǎng)景進(jìn)行一些少量的數(shù)據(jù)標(biāo)注，交給大模型再進(jìn)行一次學(xué)習(xí)，可以得到適合自己場(chǎng)景的一個(gè)好的AI模型，大幅度降低了應(yīng)用AI的門檻。

超大規(guī)模深度學(xué)習(xí)模型訓(xùn)練中，存在諸多難題。兩年多來(lái)，文心在與飛槳深度學(xué)習(xí)平臺(tái)融合發(fā)展過(guò)程中，攻克了不少技術(shù)難關(guān)。

大模型訓(xùn)練，一個(gè)主要挑戰(zhàn)就是數(shù)據(jù)量非常大，模型也非常大。在算力有限情況下，要在給定的資源上，高效地存儲(chǔ)、訓(xùn)練計(jì)算，還要保證模型最后是收斂的，保證模型可用。

據(jù)吳甜介紹，在解決如何在給定資源上進(jìn)行存儲(chǔ)訓(xùn)練方面，文心采用了飛槳發(fā)布的4D混合并行訓(xùn)練技術(shù)。“在鵬城-百度·文心大模型的項(xiàng)目里，我們訓(xùn)練過(guò)程中，使用60臺(tái)服務(wù)器作為混合并行的一組單元機(jī)器訓(xùn)練，訓(xùn)練過(guò)程中可以采用多組機(jī)器做數(shù)據(jù)并行，進(jìn)行并行能力擴(kuò)展，加速訓(xùn)練進(jìn)度。”

為解決大模型應(yīng)用落地難題，為產(chǎn)業(yè)大規(guī)模應(yīng)用打開(kāi)新窗口，百度團(tuán)隊(duì)的大模型在線蒸餾技術(shù)，千億模型參數(shù)壓縮率可達(dá)99.98%，壓縮版模型僅保留0.02%參數(shù)規(guī)模就能與原有模型效果相當(dāng)。

此外，知識(shí)無(wú)時(shí)無(wú)刻不在產(chǎn)生，如何讓知識(shí)和深度學(xué)習(xí)更好融合，百度仍在不斷創(chuàng)新探索。

海量的數(shù)據(jù)中蘊(yùn)含著豐富的知識(shí)，怎樣使用無(wú)監(jiān)督的方法自動(dòng)提煉可用的知識(shí)？知識(shí)源源不斷動(dòng)態(tài)產(chǎn)生，怎樣能夠?qū)W了新知識(shí)不忘舊知識(shí)？百度知識(shí)圖譜已經(jīng)有高達(dá)5500億的知識(shí)，面對(duì)如此大規(guī)模知識(shí)，怎樣把已經(jīng)結(jié)構(gòu)化表示的知識(shí)和數(shù)據(jù)中的非結(jié)構(gòu)化的隱式知識(shí)進(jìn)行統(tǒng)一？面對(duì)上述世界性難題，文心大模型仍在做各種融合方法的創(chuàng)新。

落地應(yīng)用 從產(chǎn)業(yè)實(shí)踐中來(lái)到產(chǎn)業(yè)實(shí)踐中去 

文心定位于產(chǎn)業(yè)級(jí)知識(shí)增強(qiáng)大模型。“產(chǎn)業(yè)級(jí)”是其鮮明特征，可以說(shuō)它來(lái)源于產(chǎn)業(yè)實(shí)踐，服務(wù)于產(chǎn)業(yè)實(shí)踐，在實(shí)踐中建設(shè)、發(fā)展、壯大。

透過(guò)一組數(shù)據(jù)，可以折射文心驅(qū)動(dòng)AI規(guī)模化落地應(yīng)用的巨大價(jià)值。目前，文心大模型已支持?jǐn)?shù)百家企業(yè)與機(jī)構(gòu)，開(kāi)發(fā)者數(shù)量超過(guò)6萬(wàn)，已在數(shù)百個(gè)場(chǎng)景中落地應(yīng)用，產(chǎn)業(yè)應(yīng)用數(shù)量居業(yè)界首位。文心開(kāi)放調(diào)用量也超過(guò)5000萬(wàn)次。

在吳甜看來(lái)，文心產(chǎn)業(yè)級(jí)的定位有兩重含義，一方面是模型產(chǎn)生的過(guò)程，與產(chǎn)業(yè)應(yīng)用緊密相關(guān)；另一方面，使用模型的時(shí)候，搭配一系列面向產(chǎn)業(yè)應(yīng)用的配套工具和平臺(tái)。

具體來(lái)說(shuō)，文心的數(shù)據(jù)來(lái)源是產(chǎn)業(yè)當(dāng)中的數(shù)據(jù)，在做任務(wù)設(shè)計(jì)時(shí)，結(jié)合大量的產(chǎn)業(yè)應(yīng)用，借助任務(wù)構(gòu)建器不斷提煉任務(wù)、挖掘任務(wù)，讓模型持續(xù)進(jìn)行學(xué)習(xí)。在服務(wù)于產(chǎn)業(yè)的時(shí)候，不是單單只有模型提供調(diào)用，還結(jié)合文心大模型特點(diǎn)，建設(shè)了一系列的工具和平臺(tái)。用戶可以非常方便、簡(jiǎn)單，甚至可以不寫代碼就可以使用。通過(guò)這樣的方式，能夠促使更廣泛的場(chǎng)景、行業(yè)運(yùn)用起來(lái)。

時(shí)至今日，中國(guó)的產(chǎn)業(yè)數(shù)字化水平仍有待提升，文心大模型的這種機(jī)制恰恰是解決方法之一。由于文心通過(guò)集中的建模形成了基礎(chǔ)通用能力，使得行業(yè)企業(yè)不必從頭開(kāi)始做。

事實(shí)上，人工智能和產(chǎn)業(yè)結(jié)合，呈現(xiàn)出寬場(chǎng)景、長(zhǎng)周期特點(diǎn)，獲取場(chǎng)景數(shù)據(jù)有時(shí)非常困難。“當(dāng)AI真正跟各行各業(yè)、各種企業(yè)場(chǎng)景結(jié)合的時(shí)候，難度其實(shí)是挺高的，而且結(jié)合的復(fù)雜度也很高。”吳甜認(rèn)為，必須要有更好、更高效在場(chǎng)景上定義問(wèn)題、獲取場(chǎng)景小樣本的工作，這項(xiàng)工作本身也存在一定門檻和復(fù)雜度。

而在文心全景圖中，以金融和醫(yī)療為代表的兩個(gè)行業(yè)場(chǎng)景模型，顯示出文心在特定場(chǎng)景賦能行業(yè)轉(zhuǎn)型的成效。

通過(guò)對(duì)海量醫(yī)學(xué)文獻(xiàn)、醫(yī)學(xué)教科書、藥典等引入給文心大模型學(xué)習(xí)，再通過(guò)進(jìn)一步針對(duì)臨床數(shù)據(jù)的持續(xù)學(xué)習(xí)，文心實(shí)現(xiàn)了每份病案秒級(jí)別完成智能掃描分析，而過(guò)去醫(yī)生抽檢一份病案通常耗費(fèi)30多分鐘時(shí)間。

基于文心，保險(xiǎn)合同實(shí)現(xiàn)了智能解析。對(duì)于合同相關(guān)的30個(gè)規(guī)則，文心大模型能夠高效、準(zhǔn)確識(shí)別出來(lái)。以中國(guó)人壽為例，以前員工分析一份合同需要花費(fèi)二三十分鐘，現(xiàn)在只需不到1分鐘就能完成對(duì)保險(xiǎn)合同條款文本的解析識(shí)別。

吳甜表示，金融和醫(yī)療兩個(gè)行業(yè)模型，就是百度在金融行業(yè)、醫(yī)療行業(yè)開(kāi)展大量工作過(guò)程當(dāng)中積累的實(shí)踐。

降低門檻 讓更多企業(yè)“站在巨人肩膀上”創(chuàng)新

只有具備很強(qiáng)的通用性，AI才能成為產(chǎn)業(yè)革命的通用力量。大模型的出現(xiàn)，大幅降低了AI應(yīng)用門檻，讓大多數(shù)企業(yè)能夠“站在巨人肩膀上”，加速產(chǎn)業(yè)智能化升級(jí)。

今年1月，《“十四五”數(shù)字經(jīng)濟(jì)發(fā)展規(guī)劃》發(fā)布，促進(jìn)數(shù)字經(jīng)濟(jì)發(fā)展得到國(guó)家和各地政府部門高度重視。作為智能科技底層技術(shù)，大模型在推動(dòng)數(shù)字經(jīng)濟(jì)發(fā)展中也貢獻(xiàn)了力量。

AI芯片+AI框架+大模型，形成支撐數(shù)字經(jīng)濟(jì)發(fā)展的人工智能基礎(chǔ)設(shè)施。基于百度飛槳平臺(tái)與百舸集群，文心大模型在算法、框架、算力層面實(shí)現(xiàn)完全自主創(chuàng)新，百度通過(guò)大模型與國(guó)產(chǎn)深度學(xué)習(xí)框架融合發(fā)展，為中國(guó)產(chǎn)業(yè)智能化轉(zhuǎn)型打造AI大底座。

據(jù)吳甜介紹，今年是文心大模型產(chǎn)業(yè)落地關(guān)鍵年。文心還會(huì)發(fā)布新技術(shù)和模型，包含模型能力提升，包括平臺(tái)工具的能力提升。

文心大模型用AI為創(chuàng)意插上騰飛羽翼，尤其在AIGC（人工智能創(chuàng)造內(nèi)容）領(lǐng)域已經(jīng)開(kāi)始大放異彩。

圖為基于文心大模型生成的歌詞和藝術(shù)畫

元宇宙虛擬人生、AI版“反詐App”、續(xù)寫一本小說(shuō)……4月16日，2021百度認(rèn)知AI創(chuàng)意賽“AI創(chuàng)意派”決賽上，這些案例都是參賽選手基于百度飛槳文心大模型開(kāi)發(fā)創(chuàng)造的。在現(xiàn)場(chǎng)互動(dòng)區(qū)，觀眾也可親身體驗(yàn)到大模型在歌詞生成、畫作生成和對(duì)話機(jī)器人等應(yīng)用，同時(shí)文創(chuàng)集市上也展現(xiàn)了基于大模型能力生成的T恤、馬克杯、帆布袋、畫冊(cè)、明信片等創(chuàng)意周邊。

一位參賽代表表示，百度飛槳開(kāi)放了ERNIE 3.0知識(shí)增強(qiáng)大模型能力，不僅讓我們體會(huì)到了大模型的真正實(shí)力，也讓每一位對(duì)AI感興趣的人都可以充分發(fā)揮創(chuàng)造力，去實(shí)現(xiàn)關(guān)于文字、語(yǔ)言的創(chuàng)意想法。

“這個(gè)世界上有技術(shù)背景的開(kāi)發(fā)人員還是少數(shù)，AI跟場(chǎng)景結(jié)合巨大的空間，在于更為廣泛的人群也把AI用起來(lái)。”吳甜認(rèn)為，只有技術(shù)門檻低到所有人都可以用，創(chuàng)意才會(huì)真正大規(guī)模爆發(fā)。

據(jù)了解，目前文心大模型已通過(guò)飛槳開(kāi)源開(kāi)放平臺(tái)、百度智能云等賦能到工業(yè)、能源、金融、通信、媒體、教育等各行各業(yè)。

今天的大模型，以學(xué)習(xí)人類的經(jīng)驗(yàn)、規(guī)律、知識(shí)為主；未來(lái)，AI也有可能學(xué)到一些人類還沒(méi)有學(xué)到的一些經(jīng)驗(yàn)或者知識(shí)。

談到大模型下一步的發(fā)展趨勢(shì)，吳甜認(rèn)為，一方面大模型技術(shù)本身還有創(chuàng)新空間，百度也在不斷研究怎樣讓這些模型有更強(qiáng)的能力表現(xiàn)。另一方面，大模型的實(shí)用性將是接下來(lái)重點(diǎn)關(guān)注的問(wèn)題。百度并不是以迅速發(fā)布一個(gè)更大的模型為目標(biāo)，而是做出一款模型之后，在落地應(yīng)用中檢驗(yàn)效果，并在使用的過(guò)程當(dāng)中調(diào)整模型設(shè)計(jì)。

鍛造AI利器，方可賦能產(chǎn)業(yè)創(chuàng)新。中國(guó)工程院院士高文曾把預(yù)訓(xùn)練模型比作“人工智能發(fā)展的福音”。作為深耕產(chǎn)業(yè)級(jí)的大模型，期待文心以技術(shù)創(chuàng)新、落地應(yīng)用上的領(lǐng)先性為契機(jī)，讓人工智能技術(shù)普惠到更多人、更多行業(yè)。