1ビットLLMの登場で昨今急速に注目されつつあるニューラルネットの量子化技術を、アイシンでは独自に開発しました[1]。これまで培ってきたアイシン独自の脳を模倣したスパイキングNNの技術を活用しつつ[2]、scaled round-clip関数を活用することで、推論精度の劣化を最小限に抑えた量子化学習を実現しています。VGGやResNetへ適用し、画像分類データセットであるCIFAR-10/100で、重み及びニューロンを量子化しつつ精度劣化を1%以内に抑えることに成功しました。さらに本技術とスパイキングNN[2]との親和性の高さも同様に実証できました。今後は、より軽量な構造の量子化の検討を進め、それを用いて高精度かつ高効率な動作が求められるモビリティ領域でのエッジコンピューティング実装へ挑戦していきます。

Magic for the Age of Quantized DNNs
Yoshihide Sawada (Tokyo Research Center, AISIN)
Ryuji Saiin (AISIN SOFTWARE)
Kazuma Suetake (AISIN SOFTWARE)

[1]: Yoshihide Sawada, Ryuji Saiin, and Kazuma Suetake, Magic for the Age of Quantized DNNs, arXiv:2403.14999
[2]: Kazuma Suetake, Shin-ichi Ikegawa, Ryuji Saiin, and Yoshihide Sawada, S3NN: Time step reduction of spiking surrogate gradients for training energy efficient single-step spiking neural networks, Neural Networks 2023