東西6月17日?qǐng)?bào)道本周四上午，國(guó)際頂級(jí)學(xué)術(shù)期刊《科學(xué)》公布了清華大學(xué)神經(jīng)擬態(tài)芯片的最新研究成果。

2019年8月，史教授團(tuán)隊(duì)研發(fā)的全球首款異構(gòu)融合類腦計(jì)算芯片天空運(yùn)動(dòng)登上國(guó)際頂級(jí)學(xué)術(shù)期刊《自然》封面，并展示了這款芯片如何驅(qū)動(dòng)自動(dòng)駕駛自行車實(shí)現(xiàn)自動(dòng)控制平衡，識(shí)別語(yǔ)音命令，檢測(cè)前方行人，自動(dòng)避障。

這一成果被當(dāng)時(shí)的《自然》主編Skipper博士譽(yù)為人工智能領(lǐng)域的重要里程碑，成為2019年科學(xué)界的研究熱點(diǎn)之一。

這一次，在以前工作的基礎(chǔ)上，該團(tuán)隊(duì)開(kāi)發(fā)了一種28納米神經(jīng)模擬芯片，命名為TianjicX。

天機(jī)cX的峰值動(dòng)態(tài)能效為3.2TOPS/W，片上存儲(chǔ)帶寬為5.12tb/s，單位面積計(jì)算能力高達(dá)0.2TOPS/mm2，支持計(jì)算資源的自適應(yīng)分配和各任務(wù)執(zhí)行時(shí)間的調(diào)度。

研究團(tuán)隊(duì)構(gòu)建了搭載該芯片的多智能任務(wù)移動(dòng)機(jī)器人天機(jī)貓，并將其設(shè)計(jì)成一只貓，參與貓捉老鼠的游戲。

實(shí)驗(yàn)結(jié)果表明，與NVIDIA Jetson TX2相比，在天機(jī)cX上運(yùn)行多個(gè)網(wǎng)絡(luò)的延遲大幅降低約98.74%，動(dòng)態(tài)功耗降低50.66%。

筆者認(rèn)為，天機(jī)cX為移動(dòng)智能機(jī)器人計(jì)算硬件的研發(fā)開(kāi)辟了一條新的路徑，使其能夠低延遲，低功耗地在本地執(zhí)行密集復(fù)雜的任務(wù)，支持多種跨計(jì)算范式神經(jīng)網(wǎng)絡(luò)模型以多種協(xié)調(diào)方式在機(jī)器人中并行執(zhí)行。

地址:doi:10.1126/sci robotics . abk 2948

1.設(shè)計(jì)移動(dòng)智能機(jī)器人的硬件必須滿足三個(gè)核心要求。

移動(dòng)機(jī)器人的長(zhǎng)遠(yuǎn)目標(biāo)是在處理復(fù)雜未知環(huán)境時(shí)達(dá)到接近人類水平的智能。

最近幾年來(lái)，伴隨著人工智能的快速發(fā)展，各種神經(jīng)網(wǎng)絡(luò)算法被廣泛應(yīng)用于機(jī)器人中神經(jīng)網(wǎng)絡(luò)算法通常是計(jì)算密集型的為了在移動(dòng)機(jī)器人上高效實(shí)現(xiàn)各種神經(jīng)網(wǎng)絡(luò)，創(chuàng)新計(jì)算機(jī)硬件和高效計(jì)算顯得尤為必要

1.需要低延遲地支持多個(gè)神經(jīng)模型的本地并發(fā)執(zhí)行，這是提高實(shí)時(shí)處理能力的關(guān)鍵。

2.在處理動(dòng)態(tài)場(chǎng)景時(shí)，必須靈活部署多個(gè)模型，以實(shí)現(xiàn)低延遲，高效率和高并發(fā)性之間的平衡。

3.為了在開(kāi)放環(huán)境中實(shí)現(xiàn)高硬件利用率和適應(yīng)性，必須支持異步執(zhí)行和靈活交互。

可是，現(xiàn)有的計(jì)算硬件解決方案在滿足這些要求時(shí)面臨不同的困難由于底層架構(gòu)或執(zhí)行模型的固有瓶頸，現(xiàn)有的計(jì)算硬件無(wú)法在本地實(shí)現(xiàn)很多低延遲，高效率的密集型算法

通用處理器通常無(wú)法提供大規(guī)模并行計(jì)算，導(dǎo)致機(jī)器人系統(tǒng)執(zhí)行神經(jīng)網(wǎng)絡(luò)時(shí)成本低，功耗高圖形處理器具有很強(qiáng)的可編程性和高并行性，但頻繁的片外內(nèi)存訪問(wèn)和與CPU的交互導(dǎo)致其功耗高，利用率低

最近幾年來(lái)，世界上出現(xiàn)了許多性能大大提高的AI計(jì)算硬件基于FPGA和特定應(yīng)用設(shè)計(jì)的深度學(xué)習(xí)加速器可以通過(guò)定制的架構(gòu)優(yōu)化提供更高效的加速

這些加速器基于傳統(tǒng)的馮諾依曼架構(gòu)，但伴隨著神經(jīng)網(wǎng)絡(luò)多樣性和多任務(wù)性的顯著增加，其硬件利用率和調(diào)度靈活性將面臨巨大挑戰(zhàn)，難以同時(shí)在機(jī)器人中實(shí)現(xiàn)許多不同的高性能算法。

相比之下，非馮諾依曼架構(gòu)的神經(jīng)擬態(tài)芯片是同時(shí)執(zhí)行多個(gè)神經(jīng)網(wǎng)絡(luò)模型的更好選擇。

目前，神經(jīng)擬態(tài)芯片通常采用預(yù)先配置內(nèi)核的方式，通過(guò)空間切片來(lái)流水線化神經(jīng)網(wǎng)絡(luò)每個(gè)內(nèi)核在不同的執(zhí)行周期重復(fù)執(zhí)行預(yù)配置操作，導(dǎo)致資源分配不靈活，資源利用率不足

因此，清華大學(xué)的研究人員開(kāi)發(fā)了一種神經(jīng)模擬芯片TianjicX。

天基信芯片

芯片在任務(wù)執(zhí)行和協(xié)作過(guò)程中具有時(shí)空靈活性，即硬件具有自適應(yīng)分配任務(wù)的計(jì)算資源和執(zhí)行時(shí)間的能力。

2.三個(gè)關(guān)鍵層次的拆卸:架構(gòu)，芯片和機(jī)器人系統(tǒng)。

天機(jī)cX可以實(shí)現(xiàn)跨計(jì)算范式的神經(jīng)網(wǎng)絡(luò)模型的真正并發(fā)執(zhí)行，包括神經(jīng)網(wǎng)絡(luò)，脈沖神經(jīng)網(wǎng)絡(luò)及其混合，應(yīng)用于多智能任務(wù)機(jī)器人。

為多智能任務(wù)機(jī)器人設(shè)計(jì)計(jì)算硬件面臨兩個(gè)關(guān)鍵挑戰(zhàn):一是滿足延遲并發(fā)的性能要求，尤其是不同神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)的性能要求，第二，在支持任務(wù)間交互的同時(shí)，保持每個(gè)任務(wù)的獨(dú)立執(zhí)行不受干擾。

為了克服這些挑戰(zhàn)，研究人員從架構(gòu)，芯片和模型部署等不同層面進(jìn)行了一系列設(shè)計(jì)。

面向多任務(wù)機(jī)器人的仿神經(jīng)計(jì)算平臺(tái)

多任務(wù)機(jī)器人神經(jīng)擬態(tài)計(jì)算平臺(tái)的關(guān)鍵設(shè)計(jì)包括三個(gè)層次:1)溪流執(zhí)行模型，2)專用編譯器的天機(jī)cX芯片，3)基于天機(jī)cX的機(jī)器人系統(tǒng)。

1.架構(gòu):設(shè)計(jì)溪流執(zhí)行模型。

研究人員首先開(kāi)發(fā)了Rivulet執(zhí)行模型，通過(guò)可配置的原語(yǔ)序列和同步—異步混合執(zhí)行機(jī)制來(lái)解決效率，靈活性和適應(yīng)性之間的關(guān)鍵沖突，從而彌合機(jī)器人需求和具體硬件實(shí)現(xiàn)之間的差距。

Rivulet模型抽象了神經(jīng)網(wǎng)絡(luò)的基本執(zhí)行活動(dòng)，將神經(jīng)網(wǎng)絡(luò)和SNN統(tǒng)一為靜態(tài)數(shù)據(jù)和動(dòng)態(tài)數(shù)據(jù)，為資源分配和任務(wù)調(diào)度提供了一個(gè)具體的可操作和可描述的實(shí)體。

在此基礎(chǔ)上，研究團(tuán)隊(duì)構(gòu)建了時(shí)空切片相結(jié)合的資源模型來(lái)管理多個(gè)小流，并通過(guò)虛擬分組以同步—異步混合分組的方式設(shè)計(jì)了小流的實(shí)現(xiàn)，可以支持多個(gè)獨(dú)立或交互的小流。

小溪執(zhí)行模型的解釋

該模型為天機(jī)芯片的架構(gòu)奠定了基礎(chǔ)。

2.芯片:28納米工藝，160個(gè)FCore內(nèi)核。

為了有效地實(shí)現(xiàn)流模型，計(jì)算硬件需要支持高效的多流執(zhí)行，核心進(jìn)程控制，虛擬分組以及流之間的通信，調(diào)制和相互調(diào)度。

在這方面，研究人員開(kāi)發(fā)了一種基于28納米互補(bǔ)金屬氧化物半導(dǎo)體的神經(jīng)模擬芯片TianjicX。

該芯片集成了160個(gè)可配置的跨計(jì)算范式核心，大規(guī)模并行計(jì)算單元和豐富的片上存儲(chǔ)，采用非馮諾依曼高度并行多核分布式架構(gòu)，滿足Rivulet的運(yùn)算要求。

天基信硬件架構(gòu)

為了支持高效的跨范式計(jì)算和靈活的可編程性和調(diào)度能力，研究人員從生物神經(jīng)元中汲取靈感，設(shè)計(jì)了具有統(tǒng)一功能核心的微架構(gòu)在內(nèi)核中，平衡計(jì)算和調(diào)度的專用控制器本地管理每個(gè)內(nèi)核，從而提高通用性和效率

研究人員還設(shè)計(jì)了具有多精度計(jì)算的統(tǒng)一原語(yǔ)指令集，以支持人工神經(jīng)網(wǎng)絡(luò)，SNN和交叉建模的高可編程性和通用性，并進(jìn)一步將原語(yǔ)劃分到不同的硬件模塊中，以確保硬件資源的最大共享。

此外，通過(guò)核心的事件驅(qū)動(dòng)設(shè)計(jì)和多級(jí)分組，不同的神經(jīng)網(wǎng)絡(luò)可以根據(jù)環(huán)境的動(dòng)態(tài)變化異步執(zhí)行和全局交互研究團(tuán)隊(duì)還進(jìn)一步開(kāi)發(fā)了使用時(shí)空映射方法部署模型的編譯器棧，充分利用了天機(jī)cX的靈活性，可以根據(jù)不同場(chǎng)景的實(shí)際需求靈活配置多個(gè)任務(wù)

編譯器堆棧包含轉(zhuǎn)換器，映射器和代碼生成器。

3.機(jī)器人系統(tǒng):可以實(shí)時(shí)完成很多智能任務(wù)。

天機(jī)cX芯片可以提高機(jī)器人在復(fù)雜動(dòng)態(tài)環(huán)境下處理多用途，多智能任務(wù)的能力。

具體來(lái)說(shuō)，靈活的資源分配可以提高硬件利用率，滿足機(jī)器人不同的性能需求獨(dú)立的執(zhí)行上下文使機(jī)器人能夠并發(fā)和異步地執(zhí)行多個(gè)任務(wù)，支持任務(wù)間的交互，可以保證機(jī)器人多個(gè)模塊的順利協(xié)作

研究團(tuán)隊(duì)制作了一個(gè)配備了天機(jī)cX芯片和多模態(tài)傳感器的移動(dòng)機(jī)器人天機(jī)貓，并設(shè)計(jì)了一個(gè)天機(jī)貓扮演貓的貓鼠游戲。

通過(guò)實(shí)現(xiàn)不同的神經(jīng)網(wǎng)絡(luò)和SNN模型，機(jī)器人可以實(shí)時(shí)完成許多任務(wù)，如語(yǔ)音識(shí)別，聲源定位，目標(biāo)檢測(cè)和識(shí)別，避障和決策。

03.詳細(xì)解釋一下芯片特性，還有《捉迷藏》中的能效超過(guò)英偉達(dá)TX2。

天機(jī)cX芯片采用UMC 28nm高性能緊湊型CMOS工藝，F(xiàn)BGA—225封裝芯片的物理布局如下圖所示

天機(jī)cX芯片的芯片布局，F(xiàn)Core核心區(qū)和FCore核心區(qū)劃分

該芯片包括160 FCore和一個(gè)用于片間通信的高速串行化/去串行化接口該控制器僅占用FCore面積的1%左右，但它顯著提高了任務(wù)執(zhí)行和交互的靈活性和效率核心存儲(chǔ)模塊由五個(gè)靜態(tài)隨機(jī)存取存儲(chǔ)器(SRAM)模塊組成，總?cè)萘繛?44千字節(jié)通過(guò)高位寬并行讀寫訪問(wèn)接口，在400MHz時(shí)鐘頻率下，整個(gè)芯片的存儲(chǔ)器訪問(wèn)帶寬可以達(dá)到5.12tb/s

天基信芯片的主要特性和性能

研究人員通過(guò)實(shí)驗(yàn)評(píng)估了天機(jī)cX芯片的性能，主要關(guān)注功耗，延遲和吞吐量。

兩種主流的神經(jīng)網(wǎng)絡(luò)模型MobileNet和ResNet50是通過(guò)不同的映射策略實(shí)現(xiàn)的下圖是天機(jī)cX芯片的處理速度與功耗的關(guān)系

評(píng)估MobileNet和ResNet50的性能和功耗，演示GPU，CPU和神經(jīng)網(wǎng)絡(luò)加速器的性能。

為了進(jìn)行對(duì)比，研究人員還繪制了不同類型的GPU，CPU和深度學(xué)習(xí)加速器的性能對(duì)比。

可以看出，天機(jī)cX以適中的功耗實(shí)現(xiàn)了對(duì)MobileNet的高速圖像處理，可見(jiàn)其在邊緣應(yīng)用上的競(jìng)爭(zhēng)力另外，天機(jī)cX可以低功耗處理ResNet50

實(shí)驗(yàn)結(jié)果顯示了天機(jī)cX支持大規(guī)模人工神經(jīng)網(wǎng)絡(luò)，SNN和混合脈沖/非脈沖模型的潛力。

代表性SNN和混合動(dòng)力車型的性能和功耗

通過(guò)優(yōu)化映射策略，可以進(jìn)一步提高TianjicX的性能研究結(jié)果表明，天機(jī)cX具有處理多尺度，跨范式的單個(gè)神經(jīng)網(wǎng)絡(luò)模型的能力，這是支持神經(jīng)網(wǎng)絡(luò)模型多任務(wù)處理的關(guān)鍵

為了展示天璣cX在多任務(wù)智能機(jī)器人應(yīng)用方面的能力，天璣cat是一個(gè)移動(dòng)機(jī)器人開(kāi)發(fā)平臺(tái)，它是在一輛經(jīng)過(guò)改裝的移動(dòng)汽車的基礎(chǔ)上構(gòu)建的，配備了天璣cX芯片陣列和多模態(tài)傳感器，如下圖所示。

天機(jī)貓機(jī)器人，開(kāi)發(fā)板，天機(jī)cX芯片陣列材料圖

開(kāi)發(fā)板由4個(gè)4×1陣列的天機(jī)cX芯片組成，可以根據(jù)需要控制一個(gè)或多個(gè)芯片值得注意的是，這些芯片可以單獨(dú)激活接下來(lái)的實(shí)驗(yàn)中，只激活了一個(gè)天機(jī)cX芯片來(lái)實(shí)現(xiàn)各種神經(jīng)網(wǎng)絡(luò)，其他三個(gè)芯片都沒(méi)有激活

研究人員進(jìn)一步在復(fù)雜的動(dòng)態(tài)環(huán)境中設(shè)計(jì)了一個(gè)具有挑戰(zhàn)性的貓捉老鼠游戲。

天機(jī)貓機(jī)器人場(chǎng)景五種主要狀態(tài)示意圖

天機(jī)貓扮演一只貓的角色，試圖抓住一只隨機(jī)奔跑的電子鼠各種障礙物隨機(jī)動(dòng)態(tài)放置在不同位置

這只機(jī)器貓需要通過(guò)視覺(jué)識(shí)別，聲音追蹤或兩者結(jié)合的方式追蹤鼠標(biāo)，然后在不與障礙物發(fā)生碰撞的情況下向鼠標(biāo)移動(dòng)，最后追上它。

在這個(gè)過(guò)程中，使用了多種神經(jīng)網(wǎng)絡(luò)算法來(lái)實(shí)現(xiàn)實(shí)時(shí)場(chǎng)景中的語(yǔ)音識(shí)別，聲源定位，目標(biāo)檢測(cè)，避障和決策因此，這些神經(jīng)網(wǎng)絡(luò)算法的協(xié)同和并發(fā)處理是關(guān)鍵

在這項(xiàng)工作中，輕量級(jí)檢測(cè)卷積神經(jīng)網(wǎng)絡(luò)用于端到端多目標(biāo)檢測(cè)，SNN作為聲音處理神經(jīng)網(wǎng)絡(luò)的事件驅(qū)動(dòng)開(kāi)關(guān)，CNN—GRU(門控循環(huán)單元)混合網(wǎng)絡(luò)用于估計(jì)聲源位置，基于SNN的神經(jīng)狀態(tài)機(jī)(NSM)用于多網(wǎng)絡(luò)調(diào)度和策略決策。

SN可以通過(guò)固有的神經(jīng)元?jiǎng)恿W(xué)記憶時(shí)間信息，并將信息編碼成二進(jìn)制脈沖序列其基于閾值的機(jī)制自然類似于決定是否激活聲音定位網(wǎng)絡(luò)的開(kāi)關(guān)因此，研究者選擇SNN模型作為本課題中的切換神經(jīng)網(wǎng)絡(luò)

SN和GRU使用相同的基于CNN的特征提取器進(jìn)行語(yǔ)音預(yù)處理該算法以異步和并行的方式部署在單個(gè)天機(jī)cX芯片上根據(jù)不同網(wǎng)絡(luò)對(duì)計(jì)算性能的要求，采用混合時(shí)空映射方法對(duì)天機(jī)cX芯片有限的硬件資源進(jìn)行優(yōu)化分配

多任務(wù)的資源占用:這些網(wǎng)絡(luò)都映射在一個(gè)天機(jī)cX芯片上，實(shí)現(xiàn)靈活的資源共享。

整個(gè)系統(tǒng)占用128個(gè)FCore，這些FCore被分配給四個(gè)步驟組，以事件驅(qū)動(dòng)的方式執(zhí)行。

天機(jī)cX上外部事件驅(qū)動(dòng)異步并行多任務(wù)執(zhí)行圖

特別是，由audio—CNN提取的特征被GRU和SNN共享因此，通過(guò)在空間和時(shí)間上對(duì)rivulet進(jìn)行切片，兩個(gè)網(wǎng)絡(luò)可以重用同一個(gè)FCore集群與兩個(gè)未優(yōu)化的獨(dú)立FCore集群相比，存儲(chǔ)消耗降低了8.2%，但處理時(shí)間沒(méi)有增加

由于即時(shí)原語(yǔ)機(jī)制，任務(wù)之間的協(xié)作和數(shù)據(jù)傳輸不需要由其他硬件來(lái)調(diào)度與NVIDIA Jetson TX2相比，天機(jī)cX上多個(gè)網(wǎng)絡(luò)的計(jì)算響應(yīng)延遲降低了約98.74%

相對(duì)于多個(gè)神經(jīng)網(wǎng)絡(luò)在GPU中的串行執(zhí)行，整個(gè)機(jī)器人系統(tǒng)可以采用事件驅(qū)動(dòng)的方式靈活運(yùn)行，具有高度的并行性。

每個(gè)神經(jīng)網(wǎng)絡(luò)只在更新外部傳感器的相應(yīng)輸入時(shí)執(zhí)行，所以功耗低此外，多任務(wù)處理的特點(diǎn)是高效的異步并行執(zhí)行和交互，對(duì)單個(gè)任務(wù)對(duì)其輸入的響應(yīng)影響可以忽略不計(jì)

各神經(jīng)網(wǎng)絡(luò)模型的延遲，功耗，功效如下圖所示。

在同時(shí)處理五個(gè)神經(jīng)網(wǎng)絡(luò)時(shí)，這款catch me if you can在一個(gè)天機(jī)cX芯片中使用了128個(gè)核，總動(dòng)態(tài)功耗約為0.6W與TX2相比，天機(jī)cX的動(dòng)態(tài)功耗降低了50.66%。

這些結(jié)果表明，對(duì)于多任務(wù)智能機(jī)器人應(yīng)用，天機(jī)cX能夠以低延遲和高能效實(shí)現(xiàn)高實(shí)時(shí)性能。

04.結(jié)論:未來(lái)我們將探索神經(jīng)擬態(tài)的硬件和機(jī)器人計(jì)算的更多可能性。

移動(dòng)機(jī)器人的快速發(fā)展帶來(lái)了根據(jù)其獨(dú)特需求設(shè)計(jì)替代計(jì)算硬件的機(jī)會(huì)。

神經(jīng)擬態(tài)體系結(jié)構(gòu)不僅可以用于提高智能水平，還可以為替代計(jì)算體系結(jié)構(gòu)設(shè)計(jì)方法提供思路，包括以分散方式進(jìn)行資源分配，事件驅(qū)動(dòng)的執(zhí)行和調(diào)度，通過(guò)類似神經(jīng)網(wǎng)絡(luò)的活動(dòng)進(jìn)行近似計(jì)算，用特殊硬件體系結(jié)構(gòu)實(shí)現(xiàn)通用系統(tǒng)等等。

與傳統(tǒng)的神經(jīng)擬態(tài)芯片相比，天機(jī)cX可以充分利用智能算法的數(shù)據(jù)局部性，提高內(nèi)存利用率，支持多種數(shù)據(jù)移動(dòng)模式，增強(qiáng)可編程性。