入門必讀！寫給初學(xué)者的人工智能簡(jiǎn)史！

在論文中，他們提出了一種適用于多層感知器（MLP）的算法，叫做反向傳播算法（Backpropagation，簡(jiǎn)稱BP算法）。

該算法通過(guò)在輸入層和輸出層之間設(shè)定一個(gè)中間層（隱藏層），以反向傳播的方式實(shí)現(xiàn)機(jī)器的自我學(xué)習(xí)。

算法咱們以后再研究。大家只需要記住，BP算法不僅為多層神經(jīng)網(wǎng)絡(luò)的發(fā)展奠定了基礎(chǔ)，也打破了馬文·明斯基當(dāng)年提出的“神經(jīng)網(wǎng)絡(luò)具有局限性”魔咒，意義非常重大。

1980年代是人工智能研究方向發(fā)生重大轉(zhuǎn)折的時(shí)期。機(jī)器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)（聯(lián)結(jié)主義）加速崛起，逐漸取代專家系統(tǒng)（符號(hào)主義），成為人工智能的主要研究方向。
我們也可以理解為，人工智能原本由知識(shí)驅(qū)動(dòng)的方式，逐漸變成了由數(shù)據(jù)驅(qū)動(dòng)。

機(jī)器學(xué)習(xí)的代表性算法包括決策樹、支持向量機(jī)、隨機(jī)森林等。

1995年，克里娜·柯爾特斯（Corinna Cortes）和弗拉基米爾·萬(wàn)普尼克（Vladimir Vapnik）開發(fā)了支持向量機(jī)（Support Vector Machine，SVM）。支持向量機(jī)是一種映射和識(shí)別類似數(shù)據(jù)的系統(tǒng)，可以視為在感知機(jī)基礎(chǔ)上的改進(jìn)。

神經(jīng)網(wǎng)絡(luò)方面，非常重要的CNN（Convolutional Neural Network，卷積神經(jīng)網(wǎng)絡(luò)）和RNN（Recursive Neural Networks，遞歸神經(jīng)網(wǎng)絡(luò)），也在那一時(shí)期崛起了。

1988年，貝爾實(shí)驗(yàn)室的Yann LeCun（他是法國(guó)人，網(wǎng)上翻譯的中文名有很多：楊立昆、楊樂(lè)春、燕樂(lè)存、揚(yáng)·勒丘恩）等人，提出了卷積神經(jīng)網(wǎng)絡(luò)。大家應(yīng)該比較熟悉，這是一種專門用于處理圖像數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)模型。

1990年，美國(guó)認(rèn)知科學(xué)家、心理語(yǔ)言學(xué)家杰弗里·艾爾曼（Jeffrey Elman）提出了首個(gè)遞歸神經(jīng)網(wǎng)絡(luò)——艾爾曼網(wǎng)絡(luò)模型。遞歸神經(jīng)網(wǎng)絡(luò)能夠在訓(xùn)練時(shí)維持?jǐn)?shù)據(jù)本身的先后順序性質(zhì)，非常適合于自然語(yǔ)言處理領(lǐng)域的應(yīng)用。

1997年，德國(guó)計(jì)算機(jī)科學(xué)家瑟普·霍克賴特（Sepp Hochreiter）及其導(dǎo)師于爾根·施密德胡伯（Jürgen Schmidhuber）開發(fā)了用于遞歸神經(jīng)網(wǎng)絡(luò)的LSTM（長(zhǎng)短期記憶網(wǎng)絡(luò)）。

1998年，Yann LeCun等人提出了LeNet，一個(gè)用于手寫數(shù)字識(shí)別的卷積神經(jīng)網(wǎng)絡(luò)，初步展示了神經(jīng)網(wǎng)絡(luò)在圖像識(shí)別領(lǐng)域的潛力。

總而言之，20世紀(jì)90年代，神經(jīng)網(wǎng)絡(luò)在開始商用于文字圖像識(shí)別、語(yǔ)音識(shí)別、數(shù)據(jù)挖掘以及金融預(yù)測(cè)。在模式識(shí)別、信號(hào)處理、控制工程等領(lǐng)域，也有嘗試應(yīng)用，盡管當(dāng)時(shí)受到計(jì)算資源限制，應(yīng)用范圍和規(guī)模有限。

想要推動(dòng)人工智能技術(shù)的進(jìn)一步爆發(fā)，既需要算法模型的持續(xù)演進(jìn)，也需要算力的深入增強(qiáng)。此外，還有一個(gè)短板，也需要補(bǔ)充，那就是數(shù)據(jù)。

大家應(yīng)該看出來(lái)了，AI的三要素，就是算法、算力和數(shù)據(jù)。

深藍(lán)

1990年代最重要的AI事件，當(dāng)然是1997年IBM超級(jí)電腦“深藍(lán)（DEEP BLUE）”與國(guó)際象棋大師卡斯帕洛夫（KASPAROV）的世紀(jì)之戰(zhàn)。

此前的1996年2月，深藍(lán)已經(jīng)向卡斯帕洛夫發(fā)起過(guò)一次挑戰(zhàn)，結(jié)果以2-4敗北。

1997年5月3日至11日，“深藍(lán)”再次挑戰(zhàn)卡斯帕羅夫。在經(jīng)過(guò)六盤大戰(zhàn)后，最終“深藍(lán)”以2勝1負(fù)3平的成績(jī)，險(xiǎn)勝卡斯帕羅夫，震驚了世界。

這是AI發(fā)展史上，人工智能首次戰(zhàn)勝人類。

作為80后的小棗君，對(duì)這件事情也印象深刻。當(dāng)時(shí)“深藍(lán)”所引起的熱潮，絲毫不亞于后來(lái)的ChatGPT。幾乎所有的人都在想——人工智能時(shí)代是否真的到來(lái)了？人工智能，到底會(huì)不會(huì)取代人類？

深度學(xué)習(xí)

進(jìn)入21世紀(jì)，得益于計(jì)算機(jī)算力的進(jìn)一步飛躍，以及云計(jì)算、大數(shù)據(jù)的爆發(fā)，人工智能開始進(jìn)入一個(gè)更加波瀾壯闊的發(fā)展階段。

2006年，多倫多大學(xué)的杰弗里·辛頓（就是1986年發(fā)表論文的那個(gè)大神）在science期刊上，發(fā)表了重要的論文《Reducing the dimensionality of data with neural networks（用神經(jīng)網(wǎng)絡(luò)降低數(shù)據(jù)維數(shù)）》，提出深度信念網(wǎng)絡(luò)（Deep Belief Networks，DBNs）。

深度學(xué)習(xí)（Deeping Learning），正式誕生了。

2006年被后人稱為深度學(xué)習(xí)元年，杰弗里·辛頓也因此被稱為“深度學(xué)習(xí)之父”。

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)重要分支。更準(zhǔn)確來(lái)說(shuō)，機(jī)器學(xué)習(xí)底下有一條“神經(jīng)網(wǎng)絡(luò)”路線，而深度學(xué)習(xí)，是加強(qiáng)版的“神經(jīng)網(wǎng)絡(luò)”學(xué)習(xí)。

經(jīng)典機(jī)器學(xué)習(xí)算法使用的神經(jīng)網(wǎng)絡(luò)，具有輸入層、一個(gè)或兩個(gè)“隱藏”層和一個(gè)輸出層。數(shù)據(jù)需要由人類專家進(jìn)行結(jié)構(gòu)化或標(biāo)記（監(jiān)督學(xué)習(xí)），以便算法能夠從數(shù)據(jù)中提取特征。

深度學(xué)習(xí)算法使用“隱藏”層更多（數(shù)百個(gè)）的深度神經(jīng)網(wǎng)絡(luò)。它的能力更強(qiáng)，可以自動(dòng)從海量的數(shù)據(jù)集中提取特征，不需要人工干預(yù)（無(wú)監(jiān)督學(xué)習(xí)）。

2006年，在斯坦福任教的華裔科學(xué)家李飛飛，意識(shí)到了業(yè)界在研究AI算法的過(guò)程中，沒(méi)有一個(gè)強(qiáng)大的圖片數(shù)據(jù)樣本庫(kù)提供支撐。于是，2007年，她發(fā)起創(chuàng)建了ImageNet項(xiàng)目，號(hào)召民眾上傳圖像并標(biāo)注圖像內(nèi)容。

2009年，大型圖像數(shù)據(jù)集——ImageNet，正式發(fā)布。這個(gè)數(shù)據(jù)庫(kù)包括了1400萬(wàn)張圖片數(shù)據(jù)，超過(guò)2萬(wàn)個(gè)類別，為全球AI研究（神經(jīng)網(wǎng)絡(luò)訓(xùn)練）提供了強(qiáng)大支持。

從2010年開始，ImageNet每年舉行大規(guī)模視覺(jué)識(shí)別挑戰(zhàn)賽，邀請(qǐng)全球開發(fā)者和研究機(jī)構(gòu)參加，進(jìn)行人工智能圖像識(shí)別算法評(píng)比。

2012年，杰弗里·辛頓和他的學(xué)生伊利亞·蘇茨克沃（Ilya Sutskever）和亞歷克斯·克里切夫斯基（Alex Krizhevsky）參加了這個(gè)比賽。

他們?cè)O(shè)計(jì)的深度神經(jīng)網(wǎng)絡(luò)模型AlexNet在這次競(jìng)賽中大獲全勝，以壓倒性優(yōu)勢(shì)獲得第一名（將Top-5錯(cuò)誤率降到了15.3%，比第二名低10.8%），引起了業(yè)界轟動(dòng)，甚至一度被懷疑是作弊。

值得一提的是，他們?nèi)擞糜谟?xùn)練模型的，只是2張英偉達(dá)GTX 580顯卡。GPU在深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練上表現(xiàn)出的驚人能力，不僅讓他們自己嚇了一跳，也讓黃仁勛和英偉達(dá)公司嚇了一跳。

作為對(duì)比，2012年的早些時(shí)候，谷歌“Google Brain”項(xiàng)目的研究人員吳恩達(dá)（華裔美國(guó)人，1976年生于倫敦）、杰夫·迪恩（Jeff Dean）等人，也搗鼓了一個(gè)神經(jīng)網(wǎng)絡(luò)（10億參數(shù)），用來(lái)訓(xùn)練對(duì)貓的識(shí)別。

他們的訓(xùn)練數(shù)據(jù)是來(lái)自youtube的1000萬(wàn)個(gè)貓臉圖片，用了1.6萬(wàn)個(gè)CPU，整整訓(xùn)練了3天。

“深度神經(jīng)網(wǎng)絡(luò)+GPU”的優(yōu)勢(shì)，顯露無(wú)疑。很多人和很多公司的命運(yùn)，從此改變了。

2013年，辛頓師徒三人共同成立了一家名為DNNresearch的公司。后來(lái)，這個(gè)只有三個(gè)人且沒(méi)有任何產(chǎn)品和計(jì)劃的公司，被谷歌以幾千萬(wàn)美元的價(jià)格競(jìng)購(gòu)（百度也跑去買，和谷歌爭(zhēng)到最后，沒(méi)成功）。

AlphaGo

2013年-2018年，谷歌是人工智能領(lǐng)域最活躍的公司。

2014年，谷歌公司收購(gòu)了專注于深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)技術(shù)的人工智能公司——DeepMind公司。

2016年3月，DeepMind開發(fā)的人工智能圍棋程序AlphaGo（阿爾法狗），對(duì)戰(zhàn)世界圍棋冠軍、職業(yè)九段選手李世石，并以4:1的總比分獲勝，震驚了全世界。

AlphaGo具有很強(qiáng)的自我學(xué)習(xí)能力，能夠搜集大量圍棋對(duì)弈數(shù)據(jù)和名人棋譜，學(xué)習(xí)并模仿人類下棋。

一年后，AlphaGo的第四代版本AlphaGoZero問(wèn)世。在無(wú)任何數(shù)據(jù)輸入的情況下，僅用了3天時(shí)間自學(xué)圍棋，就以100:0的巨大優(yōu)勢(shì)，橫掃了第二代版本AlphaGo。學(xué)習(xí)40天后，AlphaGoZero又戰(zhàn)勝了第三代版本AlphaGo。

當(dāng)時(shí)，全世界都在熱議AlphaGoZero的強(qiáng)悍自學(xué)能力，甚至一度引起了人類的恐慌情緒。

谷歌在AI圈出盡風(fēng)頭，但他們估計(jì)也沒(méi)有想到，一家在2015年悄然成立的公司（確切說(shuō)，當(dāng)時(shí)是非營(yíng)利性組織），會(huì)很快取代他們的主角地位。這家公司（組織），就是如今大紅大紫的OpenAI。

OpenAI的創(chuàng)始人，除了埃隆·馬斯克（Elon Musk）之外，還有薩姆·奧爾特曼（Sam Altman）、彼得·泰爾（Peter Thiel）、里德·霍夫曼（Reid Hoffman）。辛頓的那個(gè)徒弟，伊利亞·蘇茨克沃，也跑去當(dāng)了研發(fā)主管。

AIGC

深度學(xué)習(xí)崛起之后，大家應(yīng)該注意到，都是用于一些判別類的場(chǎng)景，判斷貓、狗之類的。那么，深度學(xué)習(xí)，是否可以創(chuàng)造（生成）一些什么呢？

2014 年，蒙特利爾大學(xué)博士生伊恩· 古德費(fèi)洛（Ian Goodfellow），從博弈論中的“二人零和博弈”得到啟發(fā)，提出了生成對(duì)抗網(wǎng)絡(luò)（GANs，Generative Adversarial Networks）。

生成對(duì)抗網(wǎng)絡(luò)用兩個(gè)神經(jīng)網(wǎng)絡(luò)即生成器（Generator）和判別器（Discriminator）進(jìn)行對(duì)抗。在兩個(gè)神經(jīng)網(wǎng)絡(luò)的對(duì)抗和自我迭代中，GAN會(huì)逐漸演化出強(qiáng)大的能力。

生成對(duì)抗網(wǎng)絡(luò)的出現(xiàn)，對(duì)無(wú)監(jiān)督學(xué)習(xí)、圖片生成等領(lǐng)域的研究，起到極大的促進(jìn)作用，后來(lái)也拓展到計(jì)算機(jī)視覺(jué)的各個(gè)領(lǐng)域。

2017年12月，Google機(jī)器翻譯團(tuán)隊(duì)在行業(yè)頂級(jí)會(huì)議NIPS上，丟下了一顆重磅炸彈。他們發(fā)表了一篇里程碑式的論文，名字叫做《Attention is all you need（你所需要的，就是注意力）》。

論文提出只使用“自我注意力（Self Attention）”機(jī)制來(lái)訓(xùn)練自然語(yǔ)言模型，并給這種架構(gòu)起了個(gè)霸氣的名字——Transformer（轉(zhuǎn)換器、變壓器，和“變形金剛”是一個(gè)詞）。

所謂"自我注意力"機(jī)制，就是只關(guān)心輸入信息之間的關(guān)系，而不再關(guān)注輸入和對(duì)應(yīng)輸出的關(guān)系，無(wú)需再進(jìn)行昂貴的人工標(biāo)注。這是一個(gè)革命性的變化。

Transformer的出現(xiàn)，徹底改變了深度學(xué)習(xí)的發(fā)展方向。它不僅對(duì)序列到序列任務(wù)、機(jī)器翻譯和其它自然語(yǔ)言處理任務(wù)產(chǎn)生了深遠(yuǎn)的影響，也為后來(lái)AIGC的崛起打下了堅(jiān)實(shí)的基礎(chǔ)。

終于，AIGC的時(shí)代，要到來(lái)了。

2018年6月，年輕的OpenAI，發(fā)布了第一版的GPT系列模型——GPT-1。同時(shí)，他們還發(fā)表了論文《Improving Language Understanding by Generative Pre-training（通過(guò)生成式預(yù)訓(xùn)練改進(jìn)語(yǔ)言理解）》。

GPT，就是Generative Pre.trained Transfommer的縮寫，生成式預(yù)訓(xùn)練變換器。

Generative（生成式），表示該模型能夠生成連續(xù)的、有邏輯的文本內(nèi)容，比如完成對(duì)話、創(chuàng)作故事、編寫代碼或者寫詩(shī)寫歌等。

Pre.trained（預(yù)訓(xùn)練），表示該模型會(huì)先在一個(gè)大規(guī)模未標(biāo)注文本語(yǔ)料庫(kù)上進(jìn)行訓(xùn)練，學(xué)習(xí)語(yǔ)言的統(tǒng)計(jì)規(guī)律和潛在結(jié)構(gòu)。

Transfommer，剛才說(shuō)過(guò)了，就是那個(gè)很厲害的轉(zhuǎn)換器模型。

谷歌緊隨其后。2018年10月，他們發(fā)布了有3億參數(shù)的BERT（Bidirectional Encoder Representation from Transformers）模型，意思是“來(lái)自Transformers的雙向編碼表示”模型。

GPT-1和BERT都使用了深度學(xué)習(xí)和注意力機(jī)制，具備較強(qiáng)的自然語(yǔ)言理解能力。兩者的區(qū)別是，BERT使用文本的上下文來(lái)訓(xùn)練模型。而專注于“文本生成”的GPT-1，使用的是上文?；凇半p向編碼”的能力，BERT的性能在當(dāng)時(shí)明顯優(yōu)異于GPT-1。

谷歌的領(lǐng)先是暫時(shí)的。2019年和2020年，OpenAI接連發(fā)布了GPT-2和GPT-3。2022年11月，OpenAI發(fā)布了基于GPT模型的人工智能對(duì)話應(yīng)用服務(wù)——ChatGPT（也可以理解為GPT-3.5），徹底引爆了全世界。

ChatGPT結(jié)合了人類生成的對(duì)話數(shù)據(jù)進(jìn)行訓(xùn)練，展現(xiàn)出豐富的世界知識(shí)、復(fù)雜問(wèn)題求解能力、多輪對(duì)話上下文追蹤與建模能力，以及與人類價(jià)值觀對(duì)齊的能力。

它在人機(jī)對(duì)話方面的出色表現(xiàn)，引發(fā)了社會(huì)的高度關(guān)注，在全球范圍內(nèi)掀起了一股AI巨浪。

后面的事情，大家都比較清楚了。

繼ChatGPT后，OpenAI又發(fā)布了GPT-4、GPT-4V、GPT-4 Turbo、GPT-4o，形成了如今難以撼動(dòng)的領(lǐng)導(dǎo)者地位。谷歌雖然也發(fā)布號(hào)稱最強(qiáng)AI大模型的Gemini，但仍然難以在風(fēng)頭上蓋過(guò)OpenAI。

除了文本生成，生成式AI也積極向多模態(tài)發(fā)展，能夠處理圖像、音頻、視頻等多種媒體形式。

例如DALL-E、Stable Diffusion、Midjourney等圖像生成模型，Suno、Jukebox音樂(lè)生成模型，以及SoRa視頻生成模型。

全球面向各個(gè)垂直領(lǐng)域的“大模型之戰(zhàn)”，仍在硝煙彌漫地進(jìn)行之中。。。

█?結(jié)語(yǔ)

寫到這里，這篇洋洋灑灑一萬(wàn)多字的文章，終于要結(jié)束了。

我總結(jié)一下：

人工智能起步于1950年代，早期主要是符號(hào)主義占主流，并引發(fā)了第一次（政府投資）和第二次AI浪潮（企業(yè)投資）。

到1980年代，符號(hào)主義逐漸走弱，機(jī)器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)開始崛起，成為主流。

1994-現(xiàn)在，雖然叫做第三次AI浪潮，但也分兩個(gè)階段。1994-2006（其實(shí)是1980-2006），是機(jī)器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)的早期積累階段，打基礎(chǔ)。

2006年，神經(jīng)網(wǎng)絡(luò)進(jìn)入深度學(xué)習(xí)階段，就徹底開始了AI的爆發(fā)。

從2018年開始，人工智能逐漸進(jìn)入了Transformer和大模型時(shí)代，能力有了巨大的提升，也掀起了AI巨浪。

如今的人工智能，已經(jīng)是全世界關(guān)注的焦點(diǎn)，也處于一個(gè)前所未有的白金發(fā)展階段。

隨著深度學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)、生成式AI等技術(shù)的不斷突破，人工智能已經(jīng)在工業(yè)、教育、醫(yī)療、金融、交通、娛樂(lè)等幾乎所有領(lǐng)域?qū)崿F(xiàn)了落地。人工智能在計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理、機(jī)器人等方面所具備的能力，已經(jīng)被應(yīng)用到大量的垂直場(chǎng)景，并產(chǎn)生了可觀的經(jīng)濟(jì)效益。

在人工智能熱潮的帶動(dòng)下，軟件、半導(dǎo)體、通信等ICT產(chǎn)業(yè)，都獲得了不錯(cuò)的商業(yè)機(jī)會(huì)。圍繞人工智能的幾家大公司，包括英偉達(dá)、微軟、蘋果、Alphabet（谷歌母公司）、亞馬遜、Meta、特斯拉，目前在股票市場(chǎng)被譽(yù)為“七巨頭”，市值屢破紀(jì)錄。

當(dāng)然了，這股熱潮究竟會(huì)走向何方，我們還不得而知。也許，它會(huì)繼續(xù)增長(zhǎng)一段時(shí)間，甚至長(zhǎng)期持續(xù)下去，將人類徹底帶入智能時(shí)代。也許，我們會(huì)進(jìn)入第三次AI低谷，泡沫破碎，一地雞毛，又進(jìn)入一個(gè)新的周期。

未來(lái)如何，就讓時(shí)間來(lái)告訴我們答案吧。

參考文獻(xiàn)：

1、《人工智能簡(jiǎn)史》，尼克；2、《人工智能發(fā)展簡(jiǎn)史》孫凌云、孟辰燁、李澤??；3、《人工智能 60 年技術(shù)簡(jiǎn)史》，李理；4、《深度學(xué)習(xí)簡(jiǎn)史》，Keith D. Foote；5、《AI是什么 將帶我們?nèi)ツ膬?？》，李開復(fù)；6、《人工智能的五個(gè)定義：哪個(gè)最不可??？》，李開復(fù)；7、《一文讀懂人工智能發(fā)展史：從誕生，到實(shí)現(xiàn)產(chǎn)業(yè)化》，李彎彎；8、《你一定愛(ài)讀的人工智能簡(jiǎn)史》，山本一成；9、《AlphaGo背后：深度學(xué)習(xí)的勝利》，曹玲；10、《三張圖講述一部AI進(jìn)化史》，產(chǎn)品二姐（知乎）；11、《GPT的背后，從命運(yùn)多舛到顛覆世界，人工神經(jīng)網(wǎng)絡(luò)的跌宕80年》，孫睿晨；12、百度百科、維基百科等。