Spiking Neural Networkを研究するための資料

機械学習

最近、スパイキングニューラルネットワーク(以下、SNN)関連の研究を行っています。
日本語情報などがいまいち充実していなく、良さげな資料を探すのに苦労したので、まとめておきます。

上から優先して読んだ方がいい順に置いてあります。

※ この記事は高頻度で更新される予定です

SNNの概略

日本語資料

スパイキングニューラルネットワークにおける深層学習

https://www.jstage.jst.go.jp/article/seisankenkyu/71/2/71_159/_pdf

学習則の全体像が理解できます。

"Pulsed Neural Networks"の要約

http://neuro.sfc.keio.ac.jp/~masato/study/pulse/index.htm

Wolfgang Maass and Christopher M. Bishop, "Pulsed Neural Networks", The MIT Press, (1998).」の日本語要約したページです。
Chapter 1の途中で止まっています。

私は、Spike Response Modelを理解するために利用しました。

トランジスタ技術 2020年 10 月号

トランジスタ技術 2020年 10 月号 | |本 | 通販 | Amazon
Amazonでのトランジスタ技術 2020年 10 月号。アマゾンならポイント還元本が多数。作品ほか、お急ぎ便対象商品は当日お届けも可能。またトランジスタ技術 2020年 10 月号もアマゾン配送商品なら通常配送無料。

トラ技でハードウェアAI特集が組まれたものです。
付属のDVDにシリコンチップによるSNN実装の講義が収録されています。

電気回路の知識がないと、全ての内容を理解することは難しいですが、
現在のSNN概要、現状と限界を手っ取り早く理解することができるのでオススメです!

英語資料

A Survey of Neuromorphic Computing and Neural Networks in Hardware

A Survey of Neuromorphic Computing and Neural Networks in Hardware
Neuromorphic computing has come to refer to a variety of brain-inspired computers, devices, and models that contrast the pervasive von Neumann computer architec...

私が見た中では、もっとも包括的にSNNについて議論されたサーベイ論文。
SNNについて前提知識が少ない人は、論文のAbstruct、Introductonと図を見るだけでも、この分野の全体像がわかると思います。

Spiking Neural Networks Hardware Implementations and Challenges: a Survey

Spiking Neural Networks Hardware Implementations and Challenges: a Survey
Neuromorphic computing is henceforth a major research field for both academic and industrial actors. As opposed to Von Neumann machines, brain-inspired processo...

SNNのハードウェアチップの実装に関するサーベイ論文ですが、
第2章のSNNに関する概要は、図などを含めて非常にわかりやすいので、この章だけでも読んでみてください。

Rethinking the performance comparison between SNNS and ANNS

Rethinking the performance comparison between SNNS and ANNS
Artificial neural networks (ANNs), a popular path towards artificial intelligence, have experienced remarkable success via mature models, various benc…

ANN(通常のニューラルネットワーク)とSNNのパフォーマンスを様々な要素で比較した論文です。
実験結果も面白いですが、ANNとSNNを比較しながらそれぞれの手法を説明しているので、Deep Learning経験者にとって非常にわかりやすい論文です。

Neuronal Dynamics

Table of contents | Neuronal Dynamics online book
Freely available online version of the computational neuroscience book "Neuronal Dynamics" written by Wulfram Gerstner, Werner M. Kistler, Richard Naud and Liam...

SNNの教科書を公式が無料公開してくれています。
ちゃんとした教科書なので、かなりボリューミーな内容ですが、非常に勉強になります。
私の場合は、論文で読んでわからない内容などを参照するなどして使っていました。

Spiking Neural Networks and online learning: An overview and perspectives

Spiking Neural Networks and Online Learning: An Overview and Perspectives
Applications that generate huge amounts of data in the form of fast streams are becoming increasingly prevalent, being therefore necessary to learn in an online...

Online LearningとSNNに関するサーベイ論文です。
箇条書きが多用されており、英語も読みやすいので、おすすめです。
個人的には、Figure 4の生物におけるニューロンと、SNNにおける擬似ニューロンの対応関係がわかりやすくて気に入っています。

論文の完成度としては、下で紹介している「A survey of robotics control based on learning-inspired spiking neural networks」の方が高いと思います。

A survey of robotics control based on learning-inspired spiking neural networks

A Survey of Robotics Control Based on Learning-Inspired Spiking Neural Networks
Biological intelligence processes information using impulses or spikes, which makes those living creatures able to perceive and act in the real world exceptiona...

RoboticsにおけるSNNを利用した手法についてのサーベイ論文です。
ロボットに興味がなくても、SNNの概要は非常にわかりやすくまとまっているので、初学者は参考になるかと思います。

Event-based Vision: A Survey

Event-based Vision: A Survey
Event cameras are bio-inspired sensors that differ from conventional frame cameras: Instead of capturing images at a fixed rate, they asynchronously measure per...

イベントカメラに関するサーベイ論文です。
イベントカメラは、SNNをVision系で応用しようとすると避けては通れません。
これは輝度変化があった部分のピクセルのみを出力するカメラで、センサから直接スパイク信号が出力されるためSNNと非常に相性がいいです。

SNNの実装

SNNを理解するための実装

Hiroshi ARAKIさんのQiita記事

@arakiiiのマイページ - Qiita
とある国立大学大学院修士課程に在籍.専門はコンピュータサイエンスや知能情報学で,ニューラルネットワーク系の研究をしています. メインで使っている言語はC++とPythonです.

基礎的なSNNの実装例が乗っており、手をつけやすく、理解しやすいです。
Rate-codingについては、SNNを始めたばかりではなかなか理解しづらいので、個人的には、ポアソンスパイクの記事が勉強になりました。

ゼロから作るSpiking Neural Networks

BOOTH - The International Indie Art Marketplace
BOOTH(ブース)とは、pixivと連携した、創作物の総合マーケットです。無料で簡単にショップを作成でき、商品の保管・発送代行サービスも提供しています!

その名の通り、SNNをゼロから実装する様子を書いた同人誌です。
かなり充実した内容ですが、初学者には難しいかも知れないです(僕は挫折しました)。

SNNを利用するためのライブラリ

SNNを実装するためのライブラリは複数あり、しかもあまりよく知られていないので、初手でライブラリ選択をミスると積みます。

ソースコード付き論文

XDUSPONGE/SNN_benchmark

XDUSPONGE/SNN_benchmark
Contribute to XDUSPONGE/SNN_benchmark development by creating an account on GitHub.

すごい人のGitHubです。最近の論文とコードが公開されているなら、そのリンクも紹介されています。

参考リンク

コメント

タイトルとURLをコピーしました