神經網路的一種硬體實現方式 - 自旋電子器件

就要跳坑了,放份文獻彙報聊以懷念。

我覺得這幾篇paper,都不好,都是坑。這麼多水文,我啥時也能灌一篇然後早點畢業走人啊。。。還得去年這個文獻彙報我一個人講了3h+講得大家頭昏眼花,真是想不到大約一個月前我會決定跳(出)坑。

先說本行吧,paper2,磁性納米振蕩器方案。arXiv版本里作者說要做crossbar,要做10nm尺寸。但問題大大的有。一,此方案的讀取方案是用震蕩曲線峰值軌跡,但是尺寸小了後有沒有足夠的遲豫時間給你來讀取峰值軌跡呢。300nm直徑可以有vortex結構存在,10nm可能就沒有了吧,所有的處理過程都要在遲豫的動力過程完成哦,沒有vortex,就靠原子磁矩本身來遲豫,我覺得實驗上不可行。二,讀取的是峰值軌跡,所以儘管納米振蕩器頻率是300Mhz但是輸入信號是大約是10Mhz,不夠快,照此方案就算是10Ghz的納米振蕩器最後其工作頻率也不到1Ghz,除非用反鐵磁。三,arXiv版本說也要做crossbar,可是做成了之後怎麼實施一個task呢,這個在理論上很難。

paper3,memristor第一篇。文章里的task範例是分類30張3*3的圖片,沒有測試集。物理根源就是歐姆定律,和memristor的關係是"memristor可作為格點的可調電阻",沒了。

paper5同理。

-------------------------------------------------

paper1:

Appeltant, L. et al. Information processing using a single dynamical node as complex system. Nature Communications 2, 468 (2011).

第一篇硬體實現方案,雖然是經典宏觀的電容電阻搭建的。然後有一系列各種各樣的方案做Reservoir computing,我所在的領域如第二篇paper就引用了這篇,有些參數完全和這篇一樣。

paper2:

Torrejon, J. et al. Neuromorphic computing with nanoscale spintronic oscillators. Nature 547, 428 (2017).

本文引用了paper1. 這篇剛出來沒多久老闆就在準備寫本子,我那時其實也沒太想做這個方向。

paper3:

Prezioso, M. et al. Training and operation of an integrated neuromorphic network based on metal-oxide memristors. Nature 521, 61 (2015).

這篇應該算memristor里第一篇用於神經網路計算的idea了,,,en... 本文的核心點兩句話可以說明白「memristor crossbar可以同時計算矢量和矩陣的乘法,這點是因為歐姆定律。用crossbar各點的電阻表示權重,然後用一種演算法迭代權重,也就是改變各點電阻值,直至找到最好的權重值。」

paper4:

Du, C. et al. Reservoir computing using dynamic memristors for temporal information processing. Nature Communications 8, 2204 (2017).

本文引用了paper1. 和paper1,paper2一樣。

paper5:

Sheridan, P. M. et al. Sparse coding with memristor networks. Nature Nanotechnology 12, 784 (2017).

物理上也crossbar,紮根於歐姆定理。實驗上最大的保障是在於crossbar可以同時計算一個矢量和矩陣的乘積。文中的task,就是對圖片稀疏編碼啦,先在軟體層面上把字典D搞出來,然後把字典編碼到crossbar各點的電導,然後把圖片當矢量x輸入得到一個矢量輸出,再根據這個輸出和原始圖片信號x的差異構建新的輸入信號x,一次次迭代。

-------------------------------------------------


推薦閱讀:

膠囊網路結構Capsule初探
CS231n之線性分類器
深度神經網路(DNN)
「營銷號」式寫作——YOLOv3:一項漸進式的更新
玩轉 TensorFlow Playground

TAG:神經網路 | 凝聚態物理 |