作者 | 蔣寶尚

成都地區(qū)優(yōu)秀IDC服務(wù)器托管提供商(成都創(chuàng)新互聯(lián)).為客戶提供專業(yè)的綿陽電信機房,四川各地服務(wù)器托管,綿陽電信機房、多線服務(wù)器托管.托管咨詢專線：18980820575

編輯 | 叢末

5月29日，Science刊登了一篇標題為“人工智能某些領(lǐng)域的核心進展一直停滯不前”的文章，在文章里，作者Matthew Hutson提到：一些多年之前的“老算法”如果經(jīng)過微調(diào)，其性能足以匹敵當(dāng)前的SOTA。

另外，作者在文章中還列舉了一些論文，這些論文對當(dāng)前關(guān)鍵的AI建模技術(shù)進行了分析，所有的分析結(jié)果主要有兩種：1、研究員聲稱的核心創(chuàng)新只是對原算法的微改進；2、新技術(shù)與多年前的舊算法在性能上相差不大。

具體到技術(shù)層面，論文對比分析的AI建模方法包括：神經(jīng)網(wǎng)絡(luò)剪枝、神經(jīng)網(wǎng)絡(luò)推薦算法、深度度量學(xué)習(xí)、對抗性訓(xùn)練、語言模型。

科研有風(fēng)險，入坑需謹慎。下面，AI科技評論簡要介紹這幾篇論文，為大家提供避坑指南。

1 神經(jīng)網(wǎng)絡(luò)剪枝：評價指標模糊

論文地址：

https://proceedings.mlsys.org/static/paper_files/mlsys/2020/73-Paper.pdf

對神經(jīng)網(wǎng)絡(luò)剪枝技術(shù)進行對比分析的論文是“What is the State of Neural Network Pruning?”，論文一作是來自麻省理工的研究員Davis Blalock。

他們通過對比81相關(guān)篇論文，并在對照條件下對數(shù)百個模型進行修剪后，明顯發(fā)現(xiàn)神經(jīng)網(wǎng)絡(luò)剪枝這一領(lǐng)域并沒有標準化的基準和指標。換句話說，當(dāng)前最新論文發(fā)表的技術(shù)很難進行量化，所以，很難確定該領(lǐng)域在過去的三十年中取得了多少進展。

主要表現(xiàn)在：1、許多論文雖然聲明提高了技術(shù)水平，但忽略了與其他方法進行比較（這些方法也聲稱達到了SOTA）。這種忽略體現(xiàn)兩個方面，一個是忽略2010年之前的剪枝技術(shù)，另一個是忽略了現(xiàn)在的剪枝技術(shù)。

2、數(shù)據(jù)集和架構(gòu)都呈現(xiàn)“碎片化”。81篇論文一共使用了49個數(shù)據(jù)集、132個體系結(jié)構(gòu)和195個(數(shù)據(jù)集、體系結(jié)構(gòu))組合。

3、評價指標“碎片化”。論文使用了各種各樣的評價指標，因此很難比較論文之間的結(jié)果。

4、混淆變量。有些混淆的變量使得定量分析變得十分困難。例如，初始模型的準確度和效率、訓(xùn)練和微調(diào)中的隨機變化等等。

在論文的最后，Davis Blalock提出了具體的補救措施，并引入了開源的框架ShrinkBench，用于促進剪枝方法的標準化評估。另外，此篇論文發(fā)表在了3月份的MLSys會議上。

2 神經(jīng)網(wǎng)絡(luò)推薦算法：18種算法無一幸免

https://dl.acm.org/doi/pdf/10.1145/3298689.3347058

對神經(jīng)網(wǎng)絡(luò)推薦算法進行分析的論文是 “ Are We Really Making Much Progress? A Worrying Analysis of Recent Neural Recommendation Approaches ”，作者是來自意大利米蘭理工大學(xué)的研究員。

在論文中，作者對當(dāng)前排名靠前的幾種推薦算法進行了系統(tǒng)分析，發(fā)現(xiàn)近幾年頂會中提出的18種算法，只有7種能夠合理的復(fù)現(xiàn)。還有另外6種，用相對簡單的啟發(fā)式方法就能夠勝過。剩下的幾種，雖然明顯優(yōu)于baselines，但是卻打不過微調(diào)過的非神經(jīng)網(wǎng)絡(luò)線性排名方法。

導(dǎo)致這種現(xiàn)象的原因，作者分析了三點：1、弱基準（ weak baselines）；2、建立弱方法作為新基準；3、在比較或復(fù)制不同論文的結(jié)果方面存在差異。

為了得到上述結(jié)果，作者在論文中介紹，其共進行了兩個步驟：第一步是用相關(guān)論文提供的源代碼、和數(shù)據(jù)嘗試復(fù)現(xiàn)論文結(jié)果；第二步，重新執(zhí)行了原始論文中報告的實驗，但也在比較中加入了額外的基線方法，具體而言，其使用了基于用戶和基于項目的最近鄰啟發(fā)式方法，以及簡單的基于圖形的方法（graph-based approach）進行比較。

3 深度度量學(xué)習(xí)：該領(lǐng)域13年來并無進展

https://arxiv.org/pdf/2003.08505.pdf

對深度度量學(xué)習(xí)進行分析的文章來自Facebook AI 和 Cornell Tech 的研究人員，他們發(fā)表研究論文預(yù)覽文稿標題為“A Metric Learning Reality Check”。

在論文中，研究員聲稱近十三年深度度量學(xué)習(xí)（deep metric learning） 領(lǐng)域的目前研究進展和十三年前的基線方法(Contrastive, Triplet) 比較并無實質(zhì)提高。

研究員一共指出了現(xiàn)有文獻中的三個缺陷：不公平的比較、通過測試集反饋進行訓(xùn)練、不合理的評價指標。

不公平的比較：一般大家聲明一個算法性能優(yōu)于另一個算法，通常需要確保盡可能多的參數(shù)不變，而在度量學(xué)習(xí)的論文中不是如此。另外，一些論文中所提到的精度提高其實只是所選神經(jīng)網(wǎng)絡(luò)帶來的，并不是他們提出的“創(chuàng)新”方法。例如2017年的一篇論文聲稱使用ResNet50 獲得了巨大的性能提升，而實際上他的對比對象是精度較低的GoogleNet。

通過測試集反饋進行訓(xùn)練：不僅是度量學(xué)習(xí)領(lǐng)域，大多數(shù)論文都有這一通?。簩?shù)據(jù)集一半拆分為測試集，一半拆分為訓(xùn)練集，不設(shè)驗證集。在具體訓(xùn)練的過程中，定期檢查模型的測試集精度，并報告最佳測試集精度，也就是說模型選擇和超參數(shù)調(diào)優(yōu)是通過來自測試集的直接反饋來完成的，這顯然會有過擬合的風(fēng)險。

不合理的評價指標：為了體現(xiàn)準確性，大多數(shù)度量學(xué)習(xí)論文都會報告Recall@K、歸一化相互信息(NMI)和F1分數(shù)。但這些一定是最好的衡量標準嗎？如下圖三個嵌入空間，每一個recall@1指標評價都接近滿分，而事實上，他們之間的特征并不相同。此外，F(xiàn)1和NMI分數(shù)也接近，這在一定程度上說明，其實，這幾個指標并沒帶來啥信息。

三個 toy示例：不同的精確指標如何評分。

在指出問題的同時，F(xiàn)B和康奈爾的研究員自然也指出了改進建議，針對上述三個缺點建議進行公平比較和重復(fù)性實驗、通過交叉驗證進行超參數(shù)搜索、采用更加準確的信息性、準確性度量。

4 對抗性訓(xùn)練：所有改進都可通過“提前停止”實現(xiàn)

https://openreview.net/pdf?id=ByJHuTgA-

對“對抗性訓(xùn)練”進行研究的論文標題是“Overfitting in adversarially robust deep learning”，第一作者是來自卡內(nèi)基梅隴大學(xué)的研究員Leslie Rice。

在論文中，作者提到機器學(xué)習(xí)算法的進步可以來自架構(gòu)、損失函數(shù)、優(yōu)化策略等的改變，對這三個因素中的任何一個進行微調(diào)都能夠改變算法的性能。

他的研究領(lǐng)域是對抗訓(xùn)練，他說：經(jīng)過訓(xùn)練的圖像識別模型可以免受黑客的 "對抗性攻擊"，早期的對抗訓(xùn)練方法被稱為投影梯度下降算法(projected gradient descent)。

近期的很多研究都聲稱他們的對抗訓(xùn)練算法比投影梯度下降算法要好的多，但是經(jīng)過研究發(fā)現(xiàn)，幾乎所有最近的算法改進在對抗性訓(xùn)練上的性能改進都可以通過簡單地使用“提前停止”來達到。另外，在對抗訓(xùn)練模型中，諸如雙下降曲線之類的效應(yīng)仍然存在，觀察到的過擬合也不能很多的解釋。

最后，作者研究了幾種經(jīng)典的和現(xiàn)代的深度學(xué)習(xí)過擬合補救方法，包括正則化和數(shù)據(jù)增強，發(fā)現(xiàn)沒有一種方法能超得過“提前停止”達到的收益。所以，他們得出結(jié)論：PGD之類的創(chuàng)新很難實現(xiàn)，當(dāng)前的研究很少有實質(zhì)性改進。

5 語言模型：LSTM仍然一枝獨秀

對語言翻譯進行研究的論文名為“On the State of the Art of Evaluation in Neural Language Models，此論文是DeepMind和牛津大學(xué)合力完成。

在論文中，作者提到神經(jīng)網(wǎng)絡(luò)架構(gòu)的不斷創(chuàng)新，為語言建?；鶞侍峁┝朔€(wěn)定的最新成果。這些成果都是使用不同的代碼庫和有限的計算資源進行評估的，而這種評估是不可控的。

根據(jù)其論文內(nèi)容，作者一共主要研究了三個遞歸模型架構(gòu)（recurrent architectures），分別是：LSTM、 RHN（Recurrent Highway Network）、NAS。研究RHN是因為它在多個數(shù)據(jù)集上達到了SOTA，而研究NAS是因為它的架構(gòu)是基于自動強化學(xué)習(xí)的優(yōu)化過程的結(jié)果。

最后，作者通過大規(guī)模的自動黑箱超參數(shù)調(diào)優(yōu)，重新評估了幾種流行的體系結(jié)構(gòu)和正則化方法，得出的一個結(jié)論是：標準的LSTM體系結(jié)構(gòu)在適當(dāng)?shù)恼齽t化后，其性能表現(xiàn)優(yōu)于“近期”的模型。

via

https://www.sciencemag.org/news/2020/05/eye-catching-advances-some-ai-fields-are-not-real

https://www.toutiao.com/i6832364243111641613/

新聞標題：Science：有調(diào)查有真相！某些AI領(lǐng)域多年無實際進展
文章路徑：http://jinyejixie.com/article42/gdpjhc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供定制網(wǎng)站、網(wǎng)站改版、、App設(shè)計、營銷型網(wǎng)站建設(shè)、企業(yè)網(wǎng)站制作

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)