スパイキングニューラルネットワーク
Spiking Neural Network
脱炭素が求められる近年、特に火力発電に依存する日本においては、消費電力を抑えることが重要となります。一方、IoT（Internet of Things）の普及に伴って、24時間稼働し続ける機械学習モデル（監視システム等）の需要が増えています。これら2つの社会的需要を満たすためには、低消費電力で駆動する機械学習モデルが必要となります。このような低消費電力な機械学習モデルとして、脳内のニューロン間のスパイク伝達の挙動を模したスパイキングニューラルネットワーク（Spiking Neural Network、SNN）が知られています。SNNは深層学習などで利用される従来のニューラルネットワークとは異なり、入力信号を時系列のバイナリ信号に変換して処理を行います（図１）。バイナリ信号を活用して演算を実施するため、SNNは加算演算のみで入出力関係を記述することができます。加算演算は乗算演算と比べて消費電力を低く抑えることが知られています[1]。そのため、SNNを活用すると、従来のニューラルネットと比較して、脳の挙動に近く、かつ低消費電力であるという利点が得られます。このように魅力的なSNNですが、時系列のバイナリ信号を扱う必要があるため、従来の深層学習モデルのような多層化が困難であるという課題があります。
図1：人の脳、SNN、従来のニューラルネットワークの比較図
我々は、深層学習で広く利用されている正規化項に着目しました。実際に実験で確認すると、従来の正規化項は深層学習用に調整されており、SNNでは充分な効果を発揮できないことが確認できました。そこで、SNNの特性を踏まえて正規化時に利用する各変数を再評価しました。その結果、図２のように、SNNにとって適切かつ簡潔な形に正規化項を修正することに成功しました。実際に実験を行った結果、従来技術では10層程度のニューラルネットワークまでしか学習できませんでしたが、本提案手法を用いることで80層を超えるニューラルネットワークの学習に成功しました(図3(A))。さらに我々は、提案する正規化項によって消費電力がどのように変化するかを調査するため、ニューロンの反応率を解析しました。その結果は図３(B)のようになりました。反応率は低いほど消費電力を抑えられることが知られています。つまり、この結果から、本提案手法を使うことで消費電力をより低く抑えられることがわかります。このような簡潔な変更で、多層化及び低消費電力を実現することができたこともあり、本技術は画像の認識・理解シンポジウムMIRU2021にて優秀賞を受賞しました[2,3]。
図２：提案手法の概要
図３：（A）提案手法によって深層化を実現。（B）提案手法によって反応率を抑制することに成功。