邁向模仿人腦的光電芯片
已有17310次閱讀2022-04-20標(biāo)簽:
人腦，由連接在神經(jīng)網(wǎng)絡(luò)中的大約860 億個(gè)神經(jīng)元組成，可以執(zhí)行非凡的計(jì)算壯舉，但只消耗十幾瓦，它是如何做到的？IEEESpectrum最近與美國國家標(biāo)準(zhǔn)與技術(shù)研究院的物理學(xué)家Jeffrey Shainline進(jìn)行了交談，他的工作可能會(huì)對(duì)這個(gè)問題有所啟發(fā)。Shainline 正在尋求一種可以為高級(jí)形式的人工智能提供動(dòng)力的計(jì)算方法——所謂的脈沖神經(jīng)網(wǎng)絡(luò)（spiking neural networks），與現(xiàn)在廣泛部署的人工神經(jīng)網(wǎng)絡(luò)相比，它更接近地模仿大腦的工作方式。今天，占主導(dǎo)地位的范式使用在數(shù)字計(jì)算機(jī)上運(yùn)行的軟件來創(chuàng)建具有多層神經(jīng)元的人工神經(jīng)網(wǎng)絡(luò)。這些“深度”人工神經(jīng)網(wǎng)絡(luò)已被證明非常成功，但它們需要大量的計(jì)算資源和能量才能運(yùn)行。而且這些能源需求正在迅速增長：特別是訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)所涉及的計(jì)算變得不可持續(xù)。長期以來，研究人員一直被創(chuàng)建人工神經(jīng)網(wǎng)絡(luò)的前景所吸引，該網(wǎng)絡(luò)更能反映生物神經(jīng)元網(wǎng)絡(luò)中發(fā)生的情況，當(dāng)一個(gè)神經(jīng)元接受來自多個(gè)其他神經(jīng)元的信號(hào)時(shí)，它可能會(huì)達(dá)到激活閾值（threshold）水平，從而導(dǎo)致它“Fire”，意思是它產(chǎn)生一個(gè)輸出信號(hào)尖峰，發(fā)送到其他神經(jīng)元，可能會(huì)誘導(dǎo)其中一些神經(jīng)元也被激發(fā)。一些公司已經(jīng)生產(chǎn)出用于實(shí)現(xiàn)電子脈沖神經(jīng)網(wǎng)絡(luò)的芯片。Shainline 的研究重點(diǎn)是在此類網(wǎng)絡(luò)中使用超導(dǎo)光電元件。他的工作最近從研究理論可能性發(fā)展到進(jìn)行硬件實(shí)驗(yàn)。他向Spectrum介紹了他實(shí)驗(yàn)室的這些最新進(jìn)展。問：多年來，我一直聽說來自 IBM 和其他地方的神經(jīng)形態(tài)處理芯片，但我沒有感覺到它們?cè)趯?shí)際世界中有任何應(yīng)用，是我的錯(cuò)覺嗎？JeffreyShainline：好問題：尖峰神經(jīng)網(wǎng)絡(luò)——它們有什么用？IBM 2014 年推出的 True North 芯片引起了轟動(dòng)，因?yàn)樗路f、與眾不同且令人興奮。最近，英特爾一直在用其 Loihi 芯片做偉大的事情。英特爾現(xiàn)在已經(jīng)有了它的第二代產(chǎn)品。但這些芯片是否能解決實(shí)際問題仍然是一個(gè)大問題。我們知道，生物大腦可以做數(shù)字計(jì)算機(jī)無法比擬的事情。然而，這些尖峰神經(jīng)形態(tài)芯片并沒有立即讓我們大吃一驚。為什么不？我認(rèn)為這不是一個(gè)容易回答的問題。我要指出的一件事是，他們當(dāng)中的任何一個(gè)芯片都沒有 100 億個(gè)神經(jīng)元（大約是人腦中神經(jīng)元的數(shù)量）。即使是果蠅的大腦也有大約 150,000 個(gè)神經(jīng)元，但在英特爾最新的Loihi 芯片甚至沒有。我知道，他們正在為如何使用這款芯片而苦苦掙扎，英特爾的人們做了一些聰明的事情：他們?yōu)閷W(xué)者和初創(chuàng)公司提供了廉價(jià)訪問他們的芯片的機(jī)會(huì)——在很多情況下是免費(fèi)的。他們正在眾包創(chuàng)意，希望有人能找到一款殺手級(jí)應(yīng)用。問：你猜這類芯片的第一個(gè)殺手級(jí)應(yīng)用會(huì)是什么？Shainline：也許是一個(gè)智能音箱，一個(gè)音箱需要一直在等待你說出一些關(guān)鍵詞或短語。這通常需要很大的功率。但研究表明，在一個(gè)簡單芯片上運(yùn)行的非常簡單的脈沖神經(jīng)算法可以在幾乎不消耗電力的情況下做到這一點(diǎn)。問：告訴我您和您的NIST 同事正在研究的光電設(shè)備，以及它們?nèi)绾胃倪M(jìn)尖峰神經(jīng)網(wǎng)絡(luò)。Shainline：首先，您需要了解光將是您可以在尖峰神經(jīng)系統(tǒng)中的神經(jīng)元之間進(jìn)行交流的最佳方式。那是因?yàn)闆]有什么能比光快。因此，使用光進(jìn)行通信將使您擁有最大的尖峰神經(jīng)網(wǎng)絡(luò)。但是僅僅快速發(fā)送信號(hào)是不夠的。您還需要以節(jié)能的方式進(jìn)行操作。因此，一旦您選擇以光的形式發(fā)送信號(hào)，您可以實(shí)現(xiàn)的最佳能量效率是，如果您只將一個(gè)光子從一個(gè)神經(jīng)元發(fā)送到它的每個(gè)突觸連接。你不能再少一點(diǎn)光了。我們正在研究的超導(dǎo)探測(cè)器在探測(cè)單光子光方面是最好的——就它們耗散多少能量以及它們的運(yùn)行速度而言是最好的。不過，您也可以構(gòu)建一個(gè)尖峰神經(jīng)網(wǎng)絡(luò)，使用室溫半導(dǎo)體來發(fā)送和接收光信號(hào)�，F(xiàn)在，哪種策略最好還不清楚。但是因?yàn)槲矣衅�，讓我分享一些追求超�?dǎo)方法的理由。誠然，使用超導(dǎo)元件會(huì)產(chǎn)生大量開銷——您必須在低溫環(huán)境中構(gòu)建所有東西，以便您的設(shè)備保持足夠冷以進(jìn)行超導(dǎo)。但是一旦你這樣做了，你可以很容易地添加另一個(gè)關(guān)鍵元素：一個(gè)叫做 Josephson junction的東西。Josephsonjunction是超導(dǎo)計(jì)算硬件的關(guān)鍵組成部分，無論它們是用于量子計(jì)算機(jī)中的超導(dǎo)量子位、超導(dǎo)數(shù)字邏輯門還是超導(dǎo)神經(jīng)元。一旦您決定使用光進(jìn)行通信并使用超導(dǎo)單光子探測(cè)器來感知光，您就必須在低溫環(huán)境中構(gòu)建您的計(jì)算機(jī)。因此，無需更多開銷，您現(xiàn)在就可以使用Josephson junction。這帶來了一個(gè)不明顯的好處：事實(shí)證明，在三維集成Josephson junction比在三維集成半導(dǎo)體 MOSFET 晶體管更容易。這是因?yàn)閷?duì)于半導(dǎo)體，您在硅片的下平面上制造 MOSFET。然后你把所有的布線層都放在上面。使用標(biāo)準(zhǔn)處理技術(shù)在其上放置另一層 MOSFET 基本上是不可能的。相比之下，在多個(gè)平面上制造Josephsonjunction并不難。兩個(gè)不同的研究小組已經(jīng)證明了這一點(diǎn)。我們一直在談?wù)摰膯喂庾犹綔y(cè)器也是如此。當(dāng)您考慮允許這些網(wǎng)絡(luò)擴(kuò)展到類似于大腦的復(fù)雜事物時(shí)，這是一個(gè)關(guān)鍵的好處。與半導(dǎo)體相比，你可以在一個(gè)硅片上安裝更多的神經(jīng)元和突觸，因?yàn)槟憧梢栽谌S中堆疊。你可以有 10 層，這是一個(gè)很大的優(yōu)勢(shì)。問：這種計(jì)算方法的理論意義令人印象深刻。但是您和您的同事實(shí)際構(gòu)建了什么樣的硬件？Shainline：我們最近最激動(dòng)人心的成果之一是超導(dǎo)單光子探測(cè)器與Josephson junction的集成演示。允許我們做的是接收單光子光并使用它來切換約瑟夫森結(jié)并產(chǎn)生電信號(hào)，然后整合來自許多光子脈沖的信號(hào)。我們最近在我們的實(shí)驗(yàn)室展示了這項(xiàng)技術(shù)。我們還制造了可在低溫下工作的芯片光源。我們也花了很多時(shí)間研究在芯片上傳輸光信號(hào)所需的波導(dǎo)。我提到了使用這種計(jì)算技術(shù)可以實(shí)現(xiàn)的3D 集成（堆疊）。但是，如果您要讓每個(gè)神經(jīng)元與數(shù)千個(gè)其他神經(jīng)元通信，您還需要某種方式讓光信號(hào)從一層的波導(dǎo)傳輸?shù)搅硪粚拥牟▽?dǎo)，而不會(huì)造成損失。我們已經(jīng)證明了這些波導(dǎo)的堆疊平面多達(dá)三個(gè)，并相信我們可以將其擴(kuò)展到 10 層左右。問：當(dāng)您說“集成”時(shí)，您的意思是您已經(jīng)將這些組件連接在一起，還是您將所有東西都放在一個(gè)芯片上？Shainline：我們確實(shí)將超導(dǎo)單光子探測(cè)器與約瑟夫森結(jié)結(jié)合在一個(gè)芯片上。該芯片安裝在一個(gè)小型印刷電路板上，我們將其放入低溫恒溫器中以保持足夠冷以保持超導(dǎo)性。我們使用光纖進(jìn)行從室溫到低溫的通信。問：為什么您如此熱衷于采用這種方法，而其他人為什么不這樣做呢？Shainline：關(guān)于為什么這種神經(jīng)形態(tài)計(jì)算方法可能會(huì)改變游戲規(guī)則，有一些非常有力的理論論據(jù)。但這需要跨學(xué)科的思考和合作，而現(xiàn)在，我們確實(shí)是唯一一個(gè)專門做這件事的團(tuán)隊(duì)。如果有更多的人參與進(jìn)來，我會(huì)喜歡的。作為一名研究人員，我的目標(biāo)不是成為第一個(gè)做所有這些事情的人。如果來自不同背景的研究人員為這項(xiàng)技術(shù)的發(fā)展做出貢獻(xiàn)，我會(huì)更加高興！
