他們斷言，要不斷進步，就需要通過對現有技術的更改或通過尚未發現的新方法來“大幅”提高計算效率的深度學習方法。

“深度學習不是偶然的計算代價，而是設計的代價。共同的靈活性使它能夠出色地建模各種現象，并且性能優于專家模型，這也使其在計算上的成本大大提高?！薄氨M管如此，我們發現深度學習模型的實際計算負擔要比理論上的（已知）下界更快地擴展，這表明可能有實質性的改進。”

深度學習是機器學習的子領域，涉及受大腦結構和功能啟發的算法。這些算法（稱為人工神經網絡）由功能（神經元）組成，這些功能按層排列，將信號傳輸到其他神經元。信號是輸入到網絡中的輸入數據的產物，從一層到另一層傳播并緩慢地“調諧”網絡，實際上是在調整每個連接的突觸強度（權重）。網絡最終通過從數據集中提取特征并識別交叉樣本趨勢來學習進行預測。

在他們的研究中，研究人員分析了預印服務器Arxiv.org以及其他基準測試來源的1,058篇論文，以了解深度學習性能與計算之間的聯系，并特別關注以下領域：圖像分類、目標檢測、問題解答，命名實體識別和機器翻譯。他們對計算需求進行了兩次單獨的分析，反映了可用的兩種信息：

- 在給定的深度學習模型中，每次網流的計算或單遍傳播所需的浮點操作數（即權重調整）。

- 硬件負擔或用于訓練模型的硬件的計算能力，計算方式為處理器數量乘以計算速率和時間。（研究人員承認，盡管這是一種不精確的計算方法，但在他們分析的論文中，對這種計算方式的報告比其他基準要廣泛。）

合著者表示，除從英語到德語的機器翻譯（使用的計算能力幾乎沒有變化）之外，所有基準測試的斜率都很高，并且解釋力很強。對象檢測、命名實體識別以及機器翻譯尤其顯示出硬件負擔的大幅增加，而結果的改善卻相對較小。在流行的開源ImageNet基準測試中，計算能力貢獻了圖像分類準確度的43％差異。

最后研究人員們得出結論，他們估計——計算能力提高10倍相當于三年的算法改進。他們寫道：“總體而言，我們的結果清楚地表明，在深度學習的許多領域中，訓練模型的進步取決于所使用的計算能力的大幅提高?！薄傲硪环N可能性是，要改進算法本身，可能需要互補地提高計算能力?！?/span>

在研究過程中，研究人員還對預測進行了推斷，以了解達到各種理論基準所需的計算能力以及相關的經濟和環境成本。即使是最樂觀的計算，要降低ImageNet上的圖像分類錯誤率，也需要進行105次以上的計算。

深度學習需要的硬件負擔和計算次數，背后消耗的是巨額資金花費。一份Synced報告估計，華盛頓大學的Grover假新聞檢測模型在大約兩周的時間內培訓費用為25,000美元。據報道，OpenAI花費了高達1200萬美元來訓練其GPT-3語言模型，而Google估計花費了6,912美元來訓練BERT，這是一種雙向轉換器模型，可重新定義11種自然語言處理任務的最新水平。

在去年6月的馬薩諸塞州大學阿默斯特分校的另一份報告中，得出的結論是，訓練和搜索某種模型所需的電量涉及大約626,000磅的二氧化碳排放量。這相當于美國普通汽車使用壽命內排放量的將近5倍。

研究人員還指出，在算法水平上進行深度學習改進已有先例。他們提到了硬件加速器的出現，例如Google的張量處理單元，現場可編程門陣列（FPGA）和專用集成電路（ASIC），并試圖通過網絡壓縮和加速技術來降低計算復雜性。他們還引用了神經體系結構搜索和元學習，它們使用優化來查找在一類問題上保持良好性能的體系結構，以此作為計算上有效的改進方法的途徑。

實際上，一項OpenAI研究表明，自2012年以來，每16個月將AI模型訓練到ImageNet圖像分類中相同性能所需的計算量就減少了一半。Google的Transformer架構超越了seq2（也是由Google開發的模型），在seq2seq推出三年后，計算量減少了61倍。DeepMind的AlphaZero是一個從頭開始學習如何掌握國際象棋、將棋和圍棋游戲的系統，與一年后該系統的前身AlphaGoZero的改進版本相匹配，其計算量減少了8倍。

“用于深度學習模型的計算能力的爆發已經結束了“人工智能冬天”，并為各種任務的計算機性能樹立了新的基準。但是，深度學習對計算能力的巨大需求限制了它可以以目前的形式改善性能的程度，特別是在硬件性能的改善步伐緩慢的時代?！毖芯咳藛T寫道。 “這些計算限制的可能影響迫使機器學習轉向比深度學習更高效的技術?！?/span>