新計算機架構(gòu)，黃金時代爆發(fā)！兩位圖靈獎得主最新力作

2017年3月，計算機架構(gòu)領域兩位巨星級人物David Patterson與John Hennessy，那時，Hennessy最知名的title是斯坦福大學前任校長，而Patterson則是伯克利的退休教授。他們1990年合著出版的《計算機體系架構(gòu)：量化研究方法》被譽為領域“體系結(jié)構(gòu)圣經(jīng)”，培養(yǎng)和指導了無數(shù)處理器設計人才。

John Hennessy(左) 和David Patterson 拿著他們合著的《計算機體系架構(gòu)：量化研究方法》，照片的拍攝時間大約是1991年。來源：ACM

當時，由GPU推動的深度學習浪潮已然興起，谷歌推出了TPU，AI芯片創(chuàng)業(yè)公司林立，芯片市場群雄并起，連做軟件的人都能感到從硬件行業(yè)迸發(fā)出的熱氣。很快，一年后，已經(jīng)出任谷歌母公司Alphabet董事長的Hennessy和已經(jīng)加入谷歌TPU團隊的Patterson又站在了一起，這次是為了紀念他們共同榮獲2017年的圖靈獎。

他們的圖靈獎演講題目叫做《計算機體系結(jié)構(gòu)的新黃金時代》(A New Golden Age for computer Architecture)，兩人回顧了自20世紀60年代以來計算機體系結(jié)構(gòu)發(fā)展歷史，并展望人工智能為計算機架構(gòu)設計所帶來的新的挑戰(zhàn)和機遇。

在那次的圖靈演講中，DavidPatterson與John Hennessy還提到了軟件設計也能為計算機硬件架構(gòu)帶來靈感，改善軟硬件接口能為架構(gòu)創(chuàng)新帶來機遇。2019年2月出版的Communicationsof the ACM，刊登了兩人的署名文章“A New Golden Age for computerArchitecture”，在圖靈演講的基礎之上進一步完善思想，并用文字將他們的洞見更加清晰地呈現(xiàn)。

PC的發(fā)展過程

集成電路，CISC，432,8086，IBM PC。當計算機開始使用集成電路時，摩爾定律意味著控制存儲可能變得更大。更大的內(nèi)存可以運行更復雜的ISA。1977年，數(shù)字設備公司（DigitalEquipment）發(fā)布的VAX-11/780機型的控制存儲大小達到5120 word×96 bit，而其之前的型號僅為256 word×56 bit。

一些制造商選擇讓選定的客戶添加名為“可寫控制存儲”（WCS）的自定義功能來進行微程序設計。最著名WCS計算機是Alto，這是圖靈獎獲得者Chuck Thacker和Butler Lampson以及他們的同事們于1973年為Xerox Palo Alto研究中心設計制造的。它是第一臺個人計算機，使用第一臺位映射顯示器和第一個以太局域網(wǎng)。用于支持新顯示器和網(wǎng)絡的設備控制器是存儲在4096 word×32 bit WCS中的微程序。

微處理器在20世紀70年代仍處于8位時代（如英特爾的8080處理器），主要采用匯編語言編程。各家企業(yè)的設計師會不斷加入新的指令來超越競爭對手，通過匯編語言展示他們的優(yōu)勢。

戈登·摩爾認為英特爾的下一代指令集架構(gòu)將能夠延續(xù)英特爾的生命，他最初推出8800處理器是一個雄心勃勃的計算機架構(gòu)項目，適用于任何時代，它具有32位尋址能力、面向?qū)ο蟮捏w系結(jié)構(gòu)，可變位的長指令，以及用當時新的編程語言Ada編寫的自己的操作系統(tǒng)。

圖1 IBM 360系列機型的參數(shù)，IPS意為“每秒操作數(shù)”

這個雄心勃勃的項目遲遲不能推出，這迫使英特爾緊急改變計劃，于1979年推出一款16位微處理器。英特爾為新團隊提供了52周的時間來開發(fā)新的“8086”指令集，并設計和構(gòu)建芯片。由于時間緊迫，團隊最終按計劃完成了8086的設計，但產(chǎn)品發(fā)布后幾乎沒有大張旗鼓的宣傳。

英特爾很走運，當時IBM正在開發(fā)一款旨在與Apple II競爭的個人計算機，正需要16位微處理器。 IBM一度對摩托羅拉的68000型感興趣，它擁有類似于IBM 360的指令集架構(gòu)，但與IBM激進的方案相比顯得落后。IBM轉(zhuǎn)而使用英特爾8086的8位總線版本處理器。IBM于1981年8月12日宣布推出該機型，預計到1986年能夠賣出25萬臺，結(jié)果最終在全球賣出了1億臺，未來前景一片光明。

英特爾的8800項目更名為iAPX-432，最終于1981年發(fā)布，但它需要多個芯片，并且存在嚴重的性能問題。該項目在1986年終止，此前一年，英特爾將寄存器從16位擴展到32位，在80386芯片中擴展了8086指令集架構(gòu)。摩爾的預測是正確的，這個指令集確實和英特爾一直存續(xù)下來，但市場卻選擇了緊急趕工的產(chǎn)品8086，而不是英特爾寄予厚望的iAPX-432，這對摩托羅拉68000和iAPX-432的架構(gòu)師來講，都是個現(xiàn)實的教訓，市場永遠是沒有耐心的。

從復雜指令集計算機到精簡指令集計算機。20世紀80年代初期，對使用大型控制存儲中的大型微程序的復雜指令集計算機（CISC）的相關問題進行過幾項調(diào)查。Unix的廣泛應用，證明連操作系統(tǒng)都可以使用高級語言的關鍵問題就是：“編譯器會產(chǎn)生什么指令？”而不是“程序員使用什么匯編語言？”軟硬件交互手段的顯著進步，為架構(gòu)創(chuàng)新創(chuàng)造了機會。

圖靈獎獲得者John Cocke和他的同事為小型計算機開發(fā)了更簡單的指令集架構(gòu)和編譯器。作為一項實驗，他們重新定位了研究編譯器，只使用簡單的寄存器-寄存器操作和IBM 360指令集加載存儲數(shù)據(jù)傳輸，避免了使用更復雜的指令。他們發(fā)現(xiàn)，使用簡單子集的程序運行速度提高了三倍。 Emer和Clark發(fā)現(xiàn)，20％的VAX指令需要60％的微代碼，僅占執(zhí)行時間的0.2％。Patterson發(fā)現(xiàn)，如果微處理器制造商要遵循大型計算機的CISC指令集設計，就需要一種方法來修復微代碼錯誤。

Patterson就此問題寫了一篇論文，但被《計算機》期刊拒稿。審稿人認為，構(gòu)建具有ISA的微處理器是一個糟糕的想法，因為這需要在現(xiàn)場進行修復。即復雜度較低的指令集架構(gòu)，以及使用精簡指令集的計算機（RISC）。 以及由匯編語言向高級語言的轉(zhuǎn)變，為CISC向RISC的過渡創(chuàng)造了條件。首先，RISC指令經(jīng)過簡化，因此不再需要微代碼解釋器。 RISC指令通常與微指令一樣簡單，硬件能夠直接執(zhí)行。其次，以前用于CISC 指令集的微代碼解釋器的快速存儲器被重新用作RISC指令的高速緩存。第三，基于Gregory Chaitin的圖著色方案的寄存器分配器，使編譯器能夠更簡易、高效地使用寄存器，最后，摩爾定律意味著在20世紀80年代能夠誕生有足夠數(shù)量的晶體管的芯片，可以容納一個完整的32位數(shù)據(jù)路徑、指令集和數(shù)據(jù)高速緩存。

在今天的“后PC時代”，x86芯片的出貨量自2011年達到峰值以來，每年下降近10％，而采用RISC處理器的芯片出貨量則飆升至200億。下圖分別對其優(yōu)點進行了分析，經(jīng)過對比可以說比行業(yè)內(nèi)的產(chǎn)品更優(yōu)秀。

圖2 由加州大學伯克利分校開發(fā)的RISC-I8和斯坦福大學開發(fā)的MIPS12微處理器

后PC時代的RISC

Apple公司在2007年推出了iPhone，開創(chuàng)了后PC時代。智能手機公司不再購買微處理器，而是使用其他公司的設計(包括ARM的RISC處理器)，在芯片上構(gòu)建自己的系統(tǒng)(SoC)。在今天的后PC時代，x86的出貨量自2011年達到峰值以來每年下降近10%，而采用RISC處理器的芯片的出貨量則飆升至200億。今天，99%的32位和64位處理器都是RISC。

處理器架構(gòu)當前的挑戰(zhàn)

大多數(shù)計算機架構(gòu)師并不設計新的ISA，而是在當前的實現(xiàn)技術中實現(xiàn)現(xiàn)有的ISA。自20世紀70年代末以來，技術的選擇一直是基于金屬氧化物半導體(MOS)的集成電路，首先是n型金屬氧化物半導體(nMOS)，然后是互補金屬氧化物半導體(CMOS)。MOS技術驚人的改進速度(Gordon Moore的預測中已經(jīng)提到這一點)已經(jīng)成為驅(qū)動因素，使架構(gòu)師能夠設計更積極的方法來實現(xiàn)給定ISA的性能。摩爾在1965年26年的最初預測要求晶體管密度每年翻一番;1975年，他對其進行了修訂，預計每兩年翻一番。這最終被稱為摩爾定律。由于晶體管密度呈二次增長，而速度呈線性增長，架構(gòu)師們使用了更多的晶體管來提高性能。

計算機體系結(jié)構(gòu)新機遇

        “我們面前的一些令人嘆為觀止的機會被偽裝成不可解決的問題。”

                                                                                                                      ——John Gardner，1965年

領域特定結(jié)構(gòu)(DAS)。一個更加以硬件為中心的方法，是設計針對特定問題域定制的體系結(jié)構(gòu)，并為該領域提供顯著的性能（和能效）增益，被稱為DSA，是一種為特定領域可編程且通常是圖靈完整的，但針對特定應用程序類別進行了定制。從這個意義上說，DSA與專用集成電路（ASIC）不同，后者通常用于單一功能，代碼很少發(fā)生變化。DSA通常稱為加速器，因為與在通用CPU上執(zhí)行整個應用程序相比，它們只會加速某些應用程序。此外，DSA可以實現(xiàn)更好的性能，因為它們更貼近應用程序的需求；DSA的例子包括圖形處理單元（GPU），用于深度學習的神經(jīng)網(wǎng)絡處理器和用于軟件定義網(wǎng)絡（SDN）的處理器。 

DSA可以實現(xiàn)更好的性能和更高的能效，主要有以下四個原因：

首先也是最重要的一點，DSA利用了特定領域中更有效的并行形式；其次，DSA可以更高效地利用內(nèi)存層次結(jié)構(gòu)；第三，DSA可以適度使用較低的精度；最后，DSA受益于以領域特定語言（DSL）編寫的目標程序。

領域特定語言

DSA要求將高級運算融入到體系結(jié)構(gòu)里，但嘗試從Python，Java，C或Fortran等通用語言中提取此類結(jié)構(gòu)和信息實在太難了。領域特定語言（DSL）支持這一過程，并能有效地對DSA進行編程。例如，DSL可以使向量、密集矩陣和稀疏矩陣運算顯式化，使DSL編譯器能夠有效地將將運算映射到處理器。常見的DSL包括矩陣運算語言Matlab，編程DNN的數(shù)據(jù)流語言TensorFlow，編程SDN的語言P4，以及用于指定高級變換的圖像處理語言Halide。

使用DSL的難點在于如何保持足夠的架構(gòu)獨立性，使得在DSL中編寫的軟件可以移植到不同的架構(gòu)，同時還可以實現(xiàn)將軟件映射到底層DSA的高效率。例如，XLA系統(tǒng)將Tensorflow編譯到使用Nvidia GPU和張量處理器單元（TPU）的異構(gòu)處理器。權衡DSA的可移植性以及效率是語言設計人員、編譯器創(chuàng)建者和DSA架構(gòu)師面臨的一項有趣的研究挑戰(zhàn)。

開放式架構(gòu)

計算機體系結(jié)構(gòu)中的第二個機遇是開源的ISA。要創(chuàng)建一個“面向處理器的Linux”，該領域需要行業(yè)標準的開源ISA，這樣社區(qū)就可以創(chuàng)建開源內(nèi)核(除了擁有專有內(nèi)核的個別公司之外)。如果許多組織使用相同的ISA設計處理器，那么更大的競爭可能會推動更快的創(chuàng)新。目標是為芯片提供處理器，成本從幾美分到100美元不等。

輕量級硬件開發(fā)

由Beck等人撰寫的《輕量級軟件開發(fā)》(The Manifesto for Agile Software Development，2011)徹底改變了軟件開發(fā)方式，克服了瀑布式開發(fā)中傳統(tǒng)的詳細計劃和文檔的頻繁失敗。再次受到軟件成功的啟發(fā)，第三個機遇是輕量級硬件開發(fā)。對于架構(gòu)師來說，好消息是現(xiàn)代電子計算機輔助設計(ECAD)工具提高了抽象級別，從而支持輕量級開發(fā)，而這種更高的抽象級別增加了設計之間的重用。

總結(jié)

       “黎明前最黑暗?！?nbsp;

                                    ——托馬斯·富勒，1650

為了從歷史的教訓中獲益，架構(gòu)師必須意識到軟件創(chuàng)新也可以激發(fā)架構(gòu)師的興趣，提高硬件/軟件界面的抽象層次可以帶來創(chuàng)新機會。iAPX-432和Itanium說明了架構(gòu)投資如何超過回報。

高級、特定于領域的語言和體系結(jié)構(gòu)，將架構(gòu)師從專有指令集的鏈中解放出來，以及公眾對改進安全性的需求，將為計算機架構(gòu)師帶來一個新的黃金時代。

在開源生態(tài)系統(tǒng)的幫助下，輕量級開發(fā)的芯片將會令人信服，從而加速商業(yè)應用。這些芯片中通用處理器的ISA理念很可能是RISC，它經(jīng)受住了時間的考驗?？梢云诖c上一個黃金時代相同的快速改善，但這一次是在成本、能源、安全以及性能方面。