人工智能研究實(shí)驗(yàn)室OpenAI在2022年11月30日發(fā)布了自然語(yǔ)言生成模型ChatGPT，上線(xiàn)兩個(gè)月就已經(jīng)超過(guò)一億用戶(hù)，成為了人工智能界當(dāng)之無(wú)愧的超級(jí)大網(wǎng)紅。ChatGPT憑借著自身強(qiáng)大的擬人化及時(shí)應(yīng)答能力迅速破圈，引起了各行各業(yè)的熱烈討論。簡(jiǎn)單來(lái)說(shuō)ChatGPT就是可以基于用戶(hù)文本輸入自動(dòng)生成回答的人工智能聊天機(jī)器人。那肯定會(huì)有人說(shuō)這不就是Siri嘛，雖然都是交互機(jī)器人但是兩者的差別可老大了。那么ChatGPT在人機(jī)交互時(shí)為什么會(huì)有這么出色的表現(xiàn)？它到底會(huì)不會(huì)取代搜索引擎？90%的人真的會(huì)因?yàn)镃hatGPT的出現(xiàn)而面臨失業(yè)的危險(xiǎn)嗎？帶著這些疑問(wèn)我們一起來(lái)看看ChatGPT到底有哪些過(guò)人之處以及未來(lái)會(huì)給行業(yè)帶來(lái)怎樣的變革。

ChatGPT到底是個(gè)啥

誰(shuí)搞出來(lái)的ChatGPT

OpenAI的創(chuàng)始人Sam Altman是一個(gè)8歲就會(huì)編程的天才，在2015年他聯(lián)合特斯拉老板馬斯克、天使投資人彼得·泰爾等一眾硅谷大佬創(chuàng)辦了OpenAI，這是一家人工智能研究實(shí)驗(yàn)室，主要由盈利組織 OpenAI LP 與母公司非盈利組織 OpenAI Inc 所組成，目的是促進(jìn)和發(fā)展友好的人工智能，避免人工智能脫離人類(lèi)控制。OpenAI重點(diǎn)研究開(kāi)發(fā)尖端的人工智能技術(shù)，其中包括機(jī)器學(xué)習(xí)算法、強(qiáng)化學(xué)習(xí)以及自然語(yǔ)言處理等。OpenAI在2022年11月30日發(fā)布了ChatGPT，正式向外提供實(shí)時(shí)的在線(xiàn)問(wèn)答對(duì)話(huà)服務(wù)。

ChatGPT是什么

《知識(shí)的邊界》一書(shū)中有這樣一段話(huà)：

當(dāng)知識(shí)變得網(wǎng)絡(luò)化之后，房間里最聰明的那個(gè)，已經(jīng)不是站在屋子前頭給我們上課的那個(gè)，也不是房間里所有人的群體智慧。房間里最聰明的人，是房間本身：是容納了其中所有的人與思想，并把他們與外界相連的這個(gè)網(wǎng)。

我對(duì)這句話(huà)的理解就是，互聯(lián)網(wǎng)上擁有全人類(lèi)的知識(shí)以及經(jīng)驗(yàn)，為人工智能提供了海量的學(xué)習(xí)數(shù)據(jù)，當(dāng)這些知識(shí)和經(jīng)驗(yàn)被有序的進(jìn)行組織之后，也同時(shí)為為訓(xùn)練一個(gè)“懂王”人工智能應(yīng)用提供了豐沛的數(shù)據(jù)土壤。而ChatGPT就是被互聯(lián)網(wǎng)海量的文本數(shù)據(jù)以及語(yǔ)言資料庫(kù)數(shù)據(jù)喂養(yǎng)訓(xùn)練之后，它就可以根據(jù)你輸入文字的內(nèi)容來(lái)生成對(duì)應(yīng)的回答，就好像兩個(gè)人在一問(wèn)一答的聊天。它除了可以和你無(wú)障礙的進(jìn)行溝通，甚至讓你感覺(jué)你對(duì)話(huà)的不是一個(gè)聊天機(jī)器人而是一個(gè)學(xué)識(shí)淵博又有點(diǎn)風(fēng)趣的真實(shí)的人，回答出來(lái)的答案甚至帶有人類(lèi)的某種語(yǔ)氣，這在以往的聊天機(jī)器人中是不敢想象的。

這里稍微說(shuō)明下ChatGPT的字面含義，它是一款通用自然語(yǔ)言生成模型，Chat是對(duì)話(huà)的意思，而所謂GPT就是Genarative Pre-trained Transformer，意思就是生成型預(yù)訓(xùn)練轉(zhuǎn)換模型，聽(tīng)上去是不是有點(diǎn)不明覺(jué)厲的感覺(jué)。

除此之外，你還可以讓他幫你完成一些實(shí)際的工作，比如寫(xiě)文案、寫(xiě)劇本甚至可以幫你直接寫(xiě)代碼出來(lái)還可以幫你找到代碼的bug，這是程序員要把自己飯碗給砸碎而且是稀碎的節(jié)奏啊，在文字以及代碼層面可以說(shuō)是無(wú)所不能。這種輸入問(wèn)題立馬給答案的交互方式，遠(yuǎn)勝于傳統(tǒng)搜索引擎在海量數(shù)據(jù)中查找自己需要內(nèi)容的使用感受，因此可以預(yù)見(jiàn)在不久的將來(lái)ChatGPT將會(huì)顛覆傳統(tǒng)的搜索引擎，徹底改變信息檢索的使用方式。

另外ChatGPT還可以在上下文語(yǔ)境下回答問(wèn)題、同時(shí)能夠主動(dòng)承認(rèn)自己的不足以及挑戰(zhàn)問(wèn)題的合理性。以下就是ChatGPT在否定我提出來(lái)的問(wèn)題。

PS：幫大家問(wèn)了ChatGPT如何成為世界首富，秘訣在下面。

正因?yàn)镃hartGPT具備這樣強(qiáng)大的理解能力、學(xué)習(xí)能力以及創(chuàng)作能力，促使它成為AI人工智能誕生以來(lái)，面向C端用戶(hù)增長(zhǎng)最快的智能應(yīng)用產(chǎn)品。在以前，人工智能C端產(chǎn)品總是被認(rèn)為不夠智能甚至被嘲笑是“人工智障”，即便在B端也只是某些場(chǎng)景下使用，普通人根本感受不到AI人工智能的威力，但是ChatGPT的出現(xiàn)可能預(yù)示著未來(lái)人工智能將融入到普通人的生活當(dāng)中。

PS：我真怕他回答有。

ChatGPT為什么這么強(qiáng)？

雖然ChatGPT是一夜爆紅，但是其背后的技術(shù)發(fā)展卻并不是一蹴而就的。因此如果我們要想搞清楚ChatGPT為什么如此強(qiáng)悍，我們就得弄明白其背后實(shí)現(xiàn)的技術(shù)原理到底是怎樣的。

語(yǔ)言模型迭代

我們都知道自然語(yǔ)言是人類(lèi)進(jìn)行交流溝通的最重要的工具，因此如何讓機(jī)器可以和人通過(guò)自然語(yǔ)言進(jìn)行無(wú)障礙的溝通交流一直是人工智能領(lǐng)域孜孜不倦追求的目標(biāo)。而NLP（Natural Language Processing，自然語(yǔ)言處理）就是計(jì)算機(jī)科學(xué)領(lǐng)域和人工智能領(lǐng)域?qū)ｉT(mén)研究讓機(jī)器可以理解自然語(yǔ)言同時(shí)在此基礎(chǔ)上進(jìn)行響應(yīng)的重要研究方向。那么要想讓計(jì)算機(jī)可以識(shí)別自然語(yǔ)言，那么需要對(duì)應(yīng)的語(yǔ)言模型來(lái)對(duì)文本進(jìn)行分析處理。而語(yǔ)言模型的大致原理就是對(duì)語(yǔ)言文本進(jìn)行概率建模，通過(guò)模型來(lái)預(yù)測(cè)下一段輸出內(nèi)容的概率。大致的過(guò)程如下所示，通過(guò)語(yǔ)言模型將一段話(huà)后面的出現(xiàn)概率最高的語(yǔ)句進(jìn)行輸出。

語(yǔ)言模型可以分為統(tǒng)計(jì)語(yǔ)言模型以及神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型。而ChatGPT就屬于神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型，它在經(jīng)過(guò)多個(gè)版本的迭代優(yōu)化后才有了今天震驚四座的優(yōu)秀表現(xiàn)。我們可以簡(jiǎn)單梳理下LM（Language Model，語(yǔ)言模型）的發(fā)展脈絡(luò)，看看語(yǔ)言模型是怎么一步步進(jìn)行進(jìn)化的，這對(duì)我們理解ChatGPT背后的技術(shù)原理非常有幫助。

RNN

RNN（Recurrent Neural Network，循環(huán)神經(jīng)網(wǎng)絡(luò)）在NPL領(lǐng)域有著廣泛的應(yīng)用。上文我們提到的NLP要解決的是讓機(jī)器理解自然語(yǔ)言的問(wèn)題，因此如果讓機(jī)器理解一句話(huà)的含義，肯定不能只理解這句話(huà)中每個(gè)單詞是什么意思，而應(yīng)該處理這句話(huà)連起來(lái)之后的序列所表達(dá)的的含義是什么，而RNN解決的是就是樣本數(shù)據(jù)為序列的建模問(wèn)題。

但是RNN存在效率問(wèn)題，在處理語(yǔ)言序列的時(shí)候是通過(guò)串行化的方式來(lái)進(jìn)行的，也就是說(shuō)后一個(gè)單詞的的處理需要等到前一個(gè)單詞的狀態(tài)輸出后才能進(jìn)行，另外還有梯度爆炸和遺忘等問(wèn)題。因此人工智能專(zhuān)家們不斷在此基礎(chǔ)上進(jìn)行模型優(yōu)化。

Transformer

Google Brain 2017年在《Attention Is All You Need》論文提出了Transformer模型，這是一個(gè)基于自注意力機(jī)制的深度學(xué)習(xí)模型，主要針對(duì)RNN的問(wèn)題進(jìn)行了優(yōu)化設(shè)計(jì)。特別是串行化出列文本序列的問(wèn)題，Transformer模型可以同時(shí)處理文本序列中所有的單詞，同時(shí)序列中任意單詞的距離都為1，避免了RNN模型中因?yàn)樾蛄羞^(guò)長(zhǎng)到導(dǎo)致的距離過(guò)長(zhǎng)問(wèn)題。Transformer模型的提出可以說(shuō)是NLP領(lǐng)域跨越式發(fā)展的重要標(biāo)志，因?yàn)楹罄m(xù)著名的BERT模型以及GPT模型都是基于Transformer模型演化而來(lái)的。下圖為T(mén)ransformer模型結(jié)構(gòu)。

編

GPT、GPT-2

無(wú)論是原始的GPT模型還是最新的ChatGPT模型其實(shí)都是以Transformer模型為核心結(jié)構(gòu)的語(yǔ)言模型。GPT使用的是Transformer模型的Decoder組件，比較適合根據(jù)上文回答下文的場(chǎng)景。

為了提高訓(xùn)練的精準(zhǔn)度，很多機(jī)器學(xué)習(xí)的訓(xùn)練任務(wù)都是采用標(biāo)記的dataset來(lái)完成，但是實(shí)際上標(biāo)注數(shù)據(jù)是一個(gè)工作量很大的事情會(huì)耗費(fèi)大量的人力和時(shí)間。因此隨著算力的不斷增強(qiáng)，實(shí)際上我們需要對(duì)更多的未進(jìn)行人工標(biāo)記的數(shù)據(jù)進(jìn)行訓(xùn)練。因此GPT提出了新的自然語(yǔ)言訓(xùn)練范式就是通過(guò)海量的文本數(shù)據(jù)來(lái)進(jìn)行無(wú)監(jiān)督學(xué)習(xí)從而能實(shí)現(xiàn)模型訓(xùn)練。這也是GPT采用了Pre-training + Fine-tuning的訓(xùn)練模式的原因。GPT的模型結(jié)構(gòu)如下，它的訓(xùn)練目標(biāo)就是根據(jù)上文來(lái)預(yù)測(cè)下文。

而GPT-2實(shí)際在模型結(jié)構(gòu)上并沒(méi)有大的改變，只是進(jìn)行了簡(jiǎn)單的調(diào)整，主要是GPT-2使用了更多的模型參數(shù)以及更多的訓(xùn)練數(shù)據(jù)。它的目標(biāo)就是訓(xùn)練出一個(gè)泛化能力更強(qiáng)的語(yǔ)言模型，所謂泛化就是應(yīng)對(duì)沒(méi)有遇到過(guò)的問(wèn)題的能力。

GPT-3

2020年OpenAI在論文《Language Models are Few-Shot Learners》中提出了GPT-3模型，它使用的模型參數(shù)兩以及訓(xùn)練數(shù)據(jù)量都非常大。它主要提出了LLM的上下文學(xué)習(xí)的能力。

編輯搜圖

GPT-3探討了模型在Zero-shot、One-shot、Few-shot三種不同輸入形式下的效果。它主要考慮如何讓通過(guò)已有問(wèn)題預(yù)測(cè)可能的回答，這里稍微解釋下Zero-shot、One-shot、Few-shot，Zero-shot意味著只給提示，One-shot會(huì)給一個(gè)范例，F(xiàn)ew-shot意味著給多個(gè)范例。但是它是沒(méi)有考慮回答的內(nèi)容是不是符合人類(lèi)的預(yù)期的，這也是后期InstructGTP最主要的優(yōu)化方向。

編輯搜圖

通過(guò)下表可以看的出來(lái)GPT訓(xùn)練的參數(shù)量級(jí)以及數(shù)據(jù)量級(jí)爆發(fā)性增長(zhǎng)，當(dāng)模型迭代到GPT-3的時(shí)候，參數(shù)量已經(jīng)過(guò)千億，預(yù)訓(xùn)練數(shù)據(jù)量達(dá)到45TB，可以說(shuō)是一個(gè)實(shí)打?qū)嵉某?jí)LLM模型了。巨大的模型參數(shù)量以及預(yù)訓(xùn)練數(shù)據(jù)量也帶來(lái)了訓(xùn)練成本的不斷攀升，GPT-3的訓(xùn)練成本高達(dá)1200美元。

編輯搜圖