過(guò)去一年里，人工智能、數據科學(xué)、機器學(xué)習研究有哪些重大進(jìn)展?在接下來(lái)的 2021 年又有哪些主要趨勢?

2020 年終于要結束了。也許這不會(huì )是誰(shuí)都喜歡的一年，但 2020 在我們的領(lǐng)域中確實(shí)有了一些顯著(zhù)的進(jìn)步，而 2021 也有一些值得期待的重要趨勢。作為年終的傳統，我們的專(zhuān)家們再次發(fā)表了他們的看法。請繼續閱讀以了解更多信息。

絕對沒(méi)有人會(huì )感到懊惱，2020 年終于接近尾聲了。新冠肺炎大流行幾乎完全定義了這一年，猶如過(guò)山車(chē)一般。但在 2020 年也發(fā)生了其他一些事情，包括人工智能、數據科學(xué)和機器學(xué)習等領(lǐng)域。為此，現在是 KDnuggets 年度年終專(zhuān)家進(jìn)行分析和預測的時(shí)候了。

人工智能、數據科學(xué)、機器學(xué)習研究在 2020 有哪些重大進(jìn)展?2021 年趨勢如何?

過(guò)去一年最引人注目的發(fā)展和預測 包括許多研究領(lǐng)域的持續進(jìn)步，特別是自然語(yǔ)言處理。盡管人們對 2020 年在自然語(yǔ)言處理方面取得的巨大進(jìn)展是否像最初(或者現在)那樣令人生畏仍存在爭議，但毫無(wú)疑問(wèn)，2020 年的自然語(yǔ)言處理研究仍然受到了持續而強烈的關(guān)注。不難猜測，這種情況也將持續到 2021 年。

像倫理和多樣性這樣的主題已經(jīng)在 2019 年占據了中心舞臺，在過(guò)去的一年中，它們已經(jīng)占據了中心舞臺。人們似乎已經(jīng)從將多樣性、倫理學(xué)以及相關(guān)的主題看作是邊緣問(wèn)題，轉向將它們與技術(shù)一起作為機器學(xué)習的核心考慮。我們希望這一趨勢能夠持續到 2021 年甚至更久。

對于 202 1 年的主要發(fā)展 趨勢，我們的專(zhuān)家小組如何看待?他們認為 2021 年的主要趨勢是什么?

這一年，我們的小組由以下成員組成：Dan Becker、Pedro Domingos、Ajit Jaokar、Ines Montani、Brandon Rohrer、Dipanjan Sarkar、Rosaria Silipo、Rachael Tatman 和 Daniel Tunkelang 組成。

相對于過(guò)去的幾年，我們更要感謝我們的作家們，在這個(gè)動(dòng)蕩的時(shí)代，在百忙之中抽出時(shí)間和我們的讀者們分享他們的觀(guān)點(diǎn)。

本文是未來(lái)一周發(fā)布的三篇系列文章中的第一篇— 研究篇。盡管這三篇文章被分為研究、技術(shù)和行業(yè)三個(gè)領(lǐng)域，但它們之間存在相當多的重疊，這是可以理解的，因此，我們建議，在這三篇文章全部發(fā)表后，請閱讀所有文章。

閑話(huà)少敘，下面是專(zhuān)家小組今年提出的 2020 年的主要趨勢和 2021 年的預測。

Dan Becker(@dan_s_becker)：Decision AI 的創(chuàng )始人，此前曾創(chuàng )立 Kaggle Learn。

今年的機器學(xué)習研究遵循了以下既定的主題：

Transformer：GPT-3 是今年所有開(kāi)發(fā)項目中最受關(guān)注的項目，它展示了 Transformer 模型的不斷發(fā)展，該模型經(jīng)過(guò)了大規模語(yǔ)料庫的訓練。同時(shí)，我們還看到了首次成功地將 Transformer 用于計算機視覺(jué)方面的實(shí)驗，而計算機視覺(jué)在歷史上是由卷積網(wǎng)絡(luò )主導的。

生成模型：像 Vid2Player 這樣的研究表明，計算機生成的視頻的質(zhì)量水平超出了我們過(guò)去所看到的水平。生成式模型的社會(huì )影響將是巨大而難以預測的。

強化學(xué)習：我發(fā)現，與前幾年相比，2020 年人們對強化學(xué)習的關(guān)注度有所下降。但是在統一政策下，跨任務(wù)的遷移學(xué)習看起來(lái)非常有前途。我預計這在未來(lái)幾年內的重要性會(huì )低于 GPT-3，但在更長(cháng)的時(shí)間范圍內，可能會(huì )變得重要得多。大多數人并沒(méi)有意識到，一旦強化學(xué)習能夠更可靠地工作，它就會(huì )產(chǎn)生巨大的影響。

2021 年：

概率編程和貝葉斯模型：我們已經(jīng)看到了很多新的概率編程語(yǔ)言的實(shí)驗。這讓我想起五年前我在深度學(xué)習框架中看到的實(shí)驗。因此，我希望概率編程是 2021 年的一個(gè)主要趨勢，盡管它也需要對用戶(hù)進(jìn)行更多的教育，以利用新工具。

GPT-4：隨著(zhù)越來(lái)越多的人使用 GPT-3 進(jìn)行實(shí)驗，我想我們會(huì )發(fā)現它有點(diǎn)不夠實(shí)用。從最近的趨勢推斷來(lái)看，GPT-4 將會(huì )好得多，并有可能越過(guò)實(shí)際有用的門(mén)檻。

用于結構化數據的 GPU：NVIDIA RAPIDS 團隊正在開(kāi)發(fā)數據科學(xué)工具，這些工具有望突飛猛進(jìn)，超越我們在過(guò)去十年中所見(jiàn)到的任何一種工具。我的感覺(jué)是，這個(gè)軟件還沒(méi)有準備好進(jìn)入黃金時(shí)代，但到了 2021 年可能會(huì )實(shí)現。

AutoML 變得乏味：大多數數據科學(xué)家仍在通過(guò)臨時(shí)實(shí)驗來(lái)調整參數。用更多的自動(dòng)化解決方案只是個(gè)時(shí)間問(wèn)題，明年也許就會(huì )實(shí)現了。

強化學(xué)習變得實(shí)際有用：這是我最興奮的地方。傳統的機器學(xué)習專(zhuān)注于預測，但很少有數據科學(xué)家優(yōu)化決策層，將這些預測轉化為現實(shí)世界的業(yè)務(wù)決策。這造成了模型準確而無(wú)用。到 2021 年，我們將會(huì )看到思維方式的轉變，即在復雜環(huán)境中使用模型來(lái)做出優(yōu)化決策。

Pedro Domingos(@pmddomingos)：華盛頓大學(xué)計算機科學(xué)與工程系教授。

依我看，2020 年的主要發(fā)展是以圖神經(jīng)網(wǎng)絡(luò )和神經(jīng)符號人工智能作為主要研究方向的出現。到 2021 年，我們將會(huì )看到后者包含前者。圖神經(jīng)網(wǎng)絡(luò )是一種有限的關(guān)系學(xué)習形式，不久之后，我們就可以用神經(jīng)符號方法來(lái)完成圖神經(jīng)網(wǎng)絡(luò )的所有功能。

之后，需要為特定應用打開(kāi)具有代表性的功能表盤(pán)，這通常是過(guò)度控制和擴展性的常見(jiàn)問(wèn)題。到了高級階段，神經(jīng)符號人工智能可以把我們帶到人類(lèi)級別的人工智能，這是一個(gè)萬(wàn)億級的問(wèn)題。

Ajit Jaokar(@ajitjaokar)：牛津大學(xué)《人工智能：云端和邊緣的實(shí)現》(Artificial Intelligence: Cloud and Edge implementations)課程的課程總監、企業(yè)家。

2020 年是新冠肺炎疫情爆發(fā)的一年，但也是科技領(lǐng)域的一年。通過(guò) MLOps 的部署，人工智能逐漸成熟。云計算平臺(如：AWS、Azure、GCP)也在人工智能的各個(gè)領(lǐng)域推動(dòng)創(chuàng )新，包括在邊緣設備上使用人工智能。在 NVIDIA 收購了 ARM 之后，我期待著(zhù)這個(gè)領(lǐng)域出現更多的創(chuàng )新。

自然語(yǔ)言處理 (GPT-3 和其他模型) 是人工智能領(lǐng)域的主要趨勢。對于 2021 年來(lái)說(shuō)，真正的問(wèn)題是：小樣本學(xué)習模型(比如 GPT-3)是否會(huì )改變模型的構建的方式?不像傳統的用數據反映來(lái)建立模型，我們可以把它顛倒過(guò)來(lái)。只要用一個(gè)很大的模型就可以認為是向前傳遞的，即模型 → 問(wèn)題 → 推理。

當然，我們需要一個(gè)像 GPT-3 這樣的大型預訓練模型。假如這一趨勢真的開(kāi)始的話(huà)，那么接下來(lái)的兩年里，人工智能將會(huì )發(fā)生改變。

到 2021 年，傳統的機器學(xué)習模型可能會(huì )成為一種商品，也就是說(shuō)，每個(gè)人都可以使用某種形式的基本機器學(xué)習或深度學(xué)習。這樣我們就可以從數據科學(xué)轉向決策科學(xué)。

數據科學(xué)的輸出是一個(gè)具有性能指標(例如準確性)的模型。有了決策科學(xué)，我們能夠進(jìn)一步提出行動(dòng)建議并執行這些行動(dòng)。也就是說(shuō)，諸如強化學(xué)習等算法將在 2021 年或更長(cháng)時(shí)間內成為主流。

Ines Montani(@_inesmontani)：Explosion 的聯(lián)合創(chuàng )始人，從事人工智能和自然語(yǔ)言處理技術(shù)的軟件開(kāi)發(fā)者。

2020 年是不平凡的一年，盡管我們在這一領(lǐng)域看到了許多令人振奮的進(jìn)展，但我認為，最重要的進(jìn)展是鞏固而非革命。這一技術(shù)在前幾年發(fā)展迅速，對于很多公司來(lái)說(shuō)，等待是明智的選擇。如今，計算方式發(fā)生了變化，人們對哪些項目可能會(huì )成功有了更好的了解。

構建原型并將機器學(xué)習應用于業(yè)務(wù)問(wèn)題從未如此簡(jiǎn)單，但是縮小原型設計和將成功的項目交付給生產(chǎn)之間的差距仍然是一個(gè)挑戰。到 2021 年，我們將會(huì )看到越來(lái)越多的人開(kāi)始關(guān)注機器學(xué)習項目的整個(gè)生命周期：從原型到生產(chǎn)，從迭代開(kāi)發(fā)到持續維護和監控。

Brandon Rohrer ：iRobot 的首席數據科學(xué)家，也是端到端機器學(xué)習的講師

卷積和遞歸神經(jīng)網(wǎng)絡(luò )已經(jīng)開(kāi)始顯示，它們并不能像我們所希望的那樣很好地解決每一個(gè)問(wèn)題。今年有兩篇論文總結了這一趨勢。這篇題為《硬件彩票》(The Hardware Lottery)的論文，描述了哪些算法能夠嶄露頭角并成為根深蒂固的行業(yè)標準，這其中有多少偶然性。

此外，這篇題為《描述不足對現代機器學(xué)習的可信度提出了挑戰》(Underspecification Presents Challenges for Credibility in Modern Machine Learning)的論文，則對我們一直以來(lái)評估模型和衡量進(jìn)展的方式提出了嚴厲的批評。這些都是好事。在 2021 年，如果我們選擇的話(huà)，我們可以投資于探索并解決一系列的新問(wèn)題。

此外，由于新冠肺炎疫情使我們別無(wú)選擇，我們開(kāi)始開(kāi)發(fā)用于遠程教學(xué)、分布式團隊和異步工作的工具和實(shí)踐。2020 年的機器學(xué)習研究環(huán)境會(huì )讓我們 2019 年的自己都認不出來(lái)。我預測，到 2021 年，在線(xiàn)教學(xué)和協(xié)作的質(zhì)量和質(zhì)量將翻一番。

Dipanjan Sarkar：Applied Materials 數據科學(xué)負責人、Google 機器學(xué)習領(lǐng)域的開(kāi)發(fā)專(zhuān)家、出版作家和顧問(wèn)。

根據我去年的預測，2020 年理所當然地成為了自然語(yǔ)言處理的一年，而 Transformer 為輕松解決答題、搜索和翻譯等棘手問(wèn)題鋪平了道路?？山忉尩娜斯ぶ悄芤惨呀?jīng)開(kāi)始走出“期望膨脹”的 Gartner 技術(shù)成熟度曲線(xiàn)(Gartner Hype Cycle)階段，有許多實(shí)用的實(shí)現可用來(lái)解釋各種問(wèn)題和數據的復雜模型。

對于 2021 年，我相信我們將看到強大而高效的模型的出現，特別是對于視覺(jué)和自然語(yǔ)言處理方面。在 DistilBERT、Reformer 和 Performer 等高效 Transformer 模型中，我們已經(jīng)看到了進(jìn)展。像 TensorFlow 這樣的深度學(xué)習框架，通過(guò) TFLite 和 TF.js 專(zhuān)注于移動(dòng)設備和物聯(lián)網(wǎng)設備上的機器學(xué)習，而在邊緣設備和設備上的計算，正是市場(chǎng)所需要的。

我還預見(jiàn)在深度學(xué)習領(lǐng)域中，與無(wú)監督和自監督學(xué)習相關(guān)的領(lǐng)域將會(huì )出現更多的進(jìn)展，像 SimCLR、SimSiam 和 SwAV 這樣的方法論在預訓練模型方面取得了巨大的成功，從而在適應階段提供更好的性能。

最后，但并非最不重要的是，低代碼自動(dòng)機器學(xué)習平臺和負責任的人工智能也是另外兩個(gè)值得關(guān)注的領(lǐng)域，因為我們肯定會(huì )在這方面取得一些有興趣的進(jìn)展。

Rosaria Silipo(@dmr_rosaria)：KNIME 首席數據科學(xué)家。

在這個(gè)奇怪的 2020 年，由于存在著(zhù)對未來(lái)的不確定性因素，人們的注意力已經(jīng)集中到為數據科學(xué)解決方案做好準備并取得成果：安全部署、應用監控和安全解決方案。到 2021 年，這種趨勢可能會(huì )持續下去。

在數據科學(xué)項目中，部署仍然是關(guān)鍵階段，在此階段之前的步驟中，所有未被注意到的錯誤都將重現。所以，除了傳統的企業(yè)級功能外，我們也開(kāi)始覺(jué)得有必要從訓練環(huán)境中生產(chǎn)應用程序，以避免在遷移過(guò)程中出現不必要的錯誤。

2021 年的一些重點(diǎn)還將放在數據分析過(guò)程的解釋上，特別是在生命科學(xué)中，通過(guò)機器學(xué)習可解釋性(machine learning interpretability，MLI)或可解釋人工智能(eXplainable AI，XAI)技術(shù)來(lái)實(shí)現黑箱模型。

說(shuō)句題外話(huà)，我真的懷疑，如果世界上許多國家持續存在新冠肺炎疫情而不得不隔離的話(huà)，那么關(guān)于機器學(xué)習和人工智能方面的書(shū)籍數量將會(huì )暴增。

RachaelTatman(@rctatman)：Rasa 的開(kāi)發(fā)倡導者，從事自然語(yǔ)言處理方面的工作。

我知道很多人可能會(huì )認為 GPT-3 是今年自然語(yǔ)言處理的一大新進(jìn)展，但我認為它不過(guò)是現有自然語(yǔ)言處理方法的一個(gè)非常直接的擴展，對絕大多數自然語(yǔ)言處理應用來(lái)說(shuō)，它是完全不切實(shí)際的。更讓我感到興奮的是，專(zhuān)注于小型、高效模型的趨勢越來(lái)越明顯，而且性能依然良好。

第一次 SustainNLP 研討會(huì )(https://sites.google.com/view/sustainlp2020/home)就是一個(gè)很好的例子。我認為，從研究的角度來(lái)看，找到用有限的數據和計算資源來(lái)獲得真正優(yōu)秀的模型性能的方法，既是一個(gè)巨大的挑戰，但也是真正有意義的一件事。

Daniel Tunkelang：獨立顧問(wèn)，專(zhuān)門(mén)從事搜索、發(fā)現和機器學(xué)習 / 人工智能。

與此同時(shí)，2020 年一直被新冠肺炎大流行所主導。盡管人工智能在抗擊病毒方面發(fā)揮了作用，但更有趣的是，由于這場(chǎng)大流行，大多數從事或研究機器學(xué)習的人都是居家工作的。

如果在大流行過(guò)后，遠程工作和教育的主流接受依然存在(這看起來(lái)是可能的)，那么我們就可以預見(jiàn)到兩種相互競爭的趨勢。一方面，人工智能的專(zhuān)業(yè)知識將會(huì )真正全球化，而不會(huì )成為一個(gè)特定的中心。另一方面，科技巨頭則會(huì )犧牲較小的地區公司為代價(jià)，在全球范圍內招募人才。

但是，隨著(zhù)遠程工作推動(dòng)了人工智能的全球化，美國與中國之間日益加劇的沖突也導致了人工智能走向分裂?？磥?lái)，未來(lái)十年我們很有可能會(huì )在人工智能軍備競賽中度過(guò)。

又及：11 月 30 日，也就是本篇文章的投稿截止日，DeepMind 的研究人員宣布，他們的 AlphaFold 系統以革命性的精度和速度預測蛋白質(zhì)折疊大挑戰，并解決了蛋白質(zhì)結構預測的關(guān)鍵評估(Critical Assessment of protein Structure Prediction，CASP)大挑戰。要理解這一消息還為時(shí)尚早，但它的確可能會(huì )成為 2020 年人工智能領(lǐng)域最大的突破。

作者介紹：

Matthew Mayo，機器學(xué)習研究員、KDnuggets 編輯，KDnuggets 是開(kāi)創(chuàng )性的在線(xiàn)數據科學(xué)和機器學(xué)習資源網(wǎng)站。他對無(wú)監督學(xué)習、深度神經(jīng)網(wǎng)絡(luò )、自然語(yǔ)言處理、算法設計和優(yōu)化以及數據處理和分析的分布式方法特別感興趣。他擁有計算機科學(xué)碩士學(xué)位和數據挖掘的研究生文憑。