IC的帆哥 - CNN https://www.icfgblog.com/index.php/tag/CNN/ 非均匀量化 https://www.icfgblog.com/index.php/NN/186.html 2021-04-17T17:29:00+08:00 一、为什么需要非均匀量化? tensorflow,pytorch 等框架下也有量化操作,通常是为了减少权重存储空间,有利于部署移动端。但是基于数字电路的量化只能是均匀的,那么为什么还要研究非均匀量化呢? 忆阻器的电导权重是模拟量,本身具备非均匀量化的可能性,而且忆阻器电导的中间值比较不稳定,均匀量化的时候很难精确。 神经网络的权重本身是非均匀分布的,在密集的地方多取点,稀疏的地方少取点,量化后的误差会更小。 二、如何确定非均匀量化点? 选取的量化点有一个中心思想:它们最接近原始的分布。正好,数学上有个“反变换采样定理”: 假设$U~(0,1)$均匀分布,Y为任意随机变量,$F_Y(y)$为Y的分布,$F^{-1}_Y(y)$为其反函数,则$Z=F_Y^{-1}(U)$与Y同分布。 Inverse transform sampling - Wikipedia 上面的公式很抽象,直接看左图吧。首先想个问题:如果只有一个(0,1)区间均匀随机数发生器,该如何通过变换,生成高斯分布? 我们可以求出高斯分布的分布函数,如中间的曲线,然后每产生(0,1)的随机数,作为纵坐标,确定对应的横坐标,即为高斯随机数。采样5万次之后,会有左图下边的分布。这样就通过分布函数,建立了均匀分布和任意分布的一一映射关系。 接下来的问题是,对任意分布做量化,使其最接近原始分布。我们可以求出统计出分布函数,再映射到均匀分布,之后对均匀分布做量化,最后将量化的结果反映射到原分布,即可确定非均匀量化点。 三、MNIST集量化结果 网络为两层卷积,分别8、12个通道,无bias;一层全连接,无bias。 非均匀量化 均匀量化 简单量化 四、Cifar10 量化结果 网络为两卷积,分别32、64个通道,无bias;一层全连接,无bias。 非均匀量化 均匀量化 简单量化 五、结论及后续 上述结果容易看出,非均匀量化在level数更低的时候有更强的鲁棒性,确实效果会好一些。 但老师说4level量化之后精度还是掉很多,二值网络都可以到95%的精度。我确实惊呆了,怎么做到的! 接下来的任务是复现BNN网络,看看二值网络到底如何训练和推理;然后学习LLoyd在脉冲调制中最小二乘法量化方案。 测试程序 CNN训练MNIST数据集tenflow2(中) https://www.icfgblog.com/index.php/NN/166.html 2021-03-26T08:38:00+08:00 紧接上文(上),我们已经做好了训练,分别保存了32bit、16bit、8bit的量化模型。本篇的工作是加载模型,查看增加噪声、权重量化时的精度变化。数据流量化的结果将在下篇介绍。 一、加载数据集 # 1. 加载数据集 import tensorflow as tf import numpy as np minst = tf.keras.datasets.mnist img_rows,img_cols = 28,28 (x_train, y_train), (x_test, y_test) = minst.load_data() x_train = x_train.reshape(x_train.shape[0],img_rows,img_cols,1) x_test = x_test.reshape(x_test.shape[0],img_rows,img_cols,1) x_train = x_train.astype('float32') x_test = x_test.astype('float32') x_train = x_train / 255 x_test = x_test / 255 y_train_onehot = tf.keras.utils.to_categorical(y_train) y_test_onehot = tf.keras.utils.to_categorical(y_test) 二、加载模型和权重,测试准确率 # 2. 加载模型和权重,测试准确率 model = tf.keras.Sequential() model = tf.keras.models.load_model('models/mnist_tf2_fw.h5') score = model.evaluate(x_test, y_test_onehot, verbose=0) print('Test accuracy:', "{:.5f}".format(score[1])) 三、增加噪声,测试准确率 model = tf.keras.models.load_model('models/mnist_tf2_fw.h5') # 这里0,2,5层分别表示conv1,conv2,fc层的权重 for i in [0,2,5]: # 通过get_weights 和setweights修改权重 temp = model.layers[i].get_weights()[0] # 0.15表征噪声的标准差 temp = temp + np.random.rand(*temp.shape)*0.15 model.layers[i].set_weights([temp]) score = model.evaluate(x_test, y_test_onehot, verbose=0) print('Test accuracy:', "{:.5f}".format(score[1])) 四、权重量化,测试准确率 # 8bit量化 bit = 8 model = tf.keras.models.load_model('models/mnist_tf2_fw.h5') # 这里0,2,5层分别表示conv1,conv2,fc层的权重 for i in [0,2,5]: temp = model.layers[i].get_weights()[0] temp = np.rint(temp * np.power(2,bit))/np.power(2,bit) model.layers[i].set_weights([temp]) score = model.evaluate(x_test, y_test_onehot, verbose=0) print('Test accuracy:', "{:.5f}".format(score[1])) 统计结果如下: 噪声标准差 0 0.04 0.06 0.08 0.09 0.10 0.16 准确率 98.500 96.870 92.590 87.510 78.590 70.180 52.800 量化精度 32bit 16bit 8bit 4bit 3bit 2bit 1bit 准确率 98.500 98.500 98.490 98.410 97.380 89.400 66.250 特别说明的是:这里只是对权重做量化,推理计算过程中的数据还是32bit的浮点数,所以结果上看,3bit量化的精度下降不多,只有约1%。 有意思的一点是:3bit量化的准确率和0.04噪声接近;2bit量化准确率和0.08噪声相近,1bit量化的准确率和0.16的噪声相当。 分析原因:3bit量化相当于最小精度是0.125,可以将其等效为$3\sigma$的偏差,求得标准差为0.041,即为0.04的噪声。 github 代码 CNN训练MNIST数据集tenflow2(上) https://www.icfgblog.com/index.php/NN/165.html 2021-03-25T22:06:00+08:00 背景 还是那片nature的文章Fully hardware-implemented memristor convolutional neural network。忆阻器的精度很低,虽然外围的ADC是8bit,但忆阻器实际的精度有4bit就不错了。希望先用32bit浮点数训练网络,然后做量化,比较准确率的下降情况: 搭建网络 增加噪声 量化权重 量化数据流 测试的环境如下: python 3.7.4, tensorflow 2.0.0 一、 搭建网络 1.数据集准备 import tensorflow as tf import numpy as np # 1.数据集准备 minst = tf.keras.datasets.mnist img_rows,img_cols = 28,28 (x_train, y_train), (x_test, y_test) = minst.load_data() # 卷积运算需要将原来的(6000,28,28)变成(6000,28,28,1) ,即增加通道的参数 x_train = x_train.reshape(x_train.shape[0],img_rows,img_cols,1) x_test = x_test.reshape(x_test.shape[0],img_rows,img_cols,1) # 需要将原来的0-255的整数转为32bit单精度浮点数,再归一化为[0,1] x_train = x_train.astype('float32') x_test = x_test.astype('float32') x_train = x_train / 255 x_test = x_test / 255 # 标签为独热码的形式,方便交叉熵运算 y_train_onehot = tf.keras.utils.to_categorical(y_train) y_test_onehot = tf.keras.utils.to_categorical(y_test) 2. 模型搭建 keras搭建模型很方便: # 2. 模型搭建 model = tf.keras.Sequential() # 注意这里padding的类型“valid”,表示不填充外围,输出shape为(26,26,8)。并且没有设置bias,因为忆阻器硬件里不好添加 model.add(tf.keras.layers.Conv2D(8, kernel_size=(3, 3),padding="valid", activation='relu',use_bias=False,input_shape=(28, 28, 1))) # 同样注意这里的padding类型“sample”,表示除不尽须填充而不是舍去,输出shape为(9,9,8) model.add(tf.keras.layers.MaxPooling2D(pool_size=(3, 3),padding="same")) # 同理,注意padding,输出shape=(7,7,12) model.add(tf.keras.layers.Conv2D(12, kernel_size=(3, 3),padding="valid", activation='relu',use_bias=False,)) # 同理,注意padding,输出shape=(4,4,12) model.add(tf.keras.layers.MaxPooling2D(pool_size=(2, 2),padding="same")) model.add(tf.keras.layers.Flatten()) model.add(tf.keras.layers.Dense(10, use_bias=False,activation='softmax')) model.summary() 三、开始训练 开始训练,数据集很小,cpu训练一两分钟左右就能达到98%准确率 model.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['accuracy']) from time import time startTime = time() history = model.fit(x_train, y_train_onehot, batch_size = 100, epochs = 10, verbose=2, validation_data = (x_test, y_test_onehot)) duration = time()-startTime print("Train Finished! takes:","{:.2f}".format(duration)) score = model.evaluate(x_test, y_test_onehot, verbose=0) print('Test accuracy:', score[1]) 四、模型的保存和加载 如果还要后续操作,模型的保存和加载还是相当重要的。 # 1.保存框架,权重,优化器,损失函数 model.save('models/mnist_tf2_fw.h5') # 2.保存框架,不含权重和配置 yaml_tring = model.to_yaml() with open('./models/mnist_tf2_f.yaml','w') as model_file: model_file.write(yaml_tring) # 3.保存权重,不含框架和配置 model.save_weights('models/mnist_tf2_w.h5') 保存量化后的tflite格式,找了好久才搞定的!tflite格式主要是为了安卓端推理应用推出的: #1 未量化-32bit converter = tf.lite.TFLiteConverter.from_keras_model(model) tflite_model = converter.convert() open("models/tflite_model_32.tflite","wb").write(tflite_model) # 2.float16量化 converter = tf.lite.TFLiteConverter.from_keras_model(model) converter.optimizations = [tf.lite.Optimize.DEFAULT] converter.target_spec.supported_types = [tf.float16] tflite_model = converter.convert() open("models/tflite_model_16.tflite", "wb").write(tflite_model) # 3.8bit量化 def representative_data_gen(): # *这里需要注意:函数需要获得x_train的shape信息 data = tf.data.Dataset.from_tensor_slices(x_train).batch(1).take(100) for input_value in data: yield [input_value] converter = tf.lite.TFLiteConverter.from_keras_model(model) converter.optimizations = [tf.lite.Optimize.DEFAULT] converter.representative_dataset = representative_data_gen # Restricting supported target op specification to INT8 converter.target_spec.supported_ops = [tf.lite.OpsSet.TFLITE_BUILTINS_INT8] # Set the input and output tensors to uint8 converter.inference_input_type = tf.uint8 converter.inference_output_type = tf.uint8 # Convert and Save the model tflite_model = converter.convert() open("models/tflite_model_8.tflite", "wb").write(tflite_model) # 4.动态量化 converter = tf.lite.TFLiteConverter.from_keras_model(model) converter.optimizations = [tf.lite.Optimize.DEFAULT] tflite_model = converter.convert() open("models/tflite_model_dy.tflite", "wb").write(tflite_model) 五、小结 截止目前,我们已经做好了训练,分别保存了32bit、16bit、8bit的量化模型。接下来的工作是加载模型,查看增加噪声、量化后对精度的损失。 github 代码 忆阻器阵列学习笔记 https://www.icfgblog.com/index.php/InMemoryComputing/159.html 2021-03-18T08:55:00+08:00 最近阅读组里忆阻器阵列的nature文章,搞清楚很多问题,特别是CNN的算法如何在忆阻器上实现这点,特来整理一波。 Fully hardware-implemented memristor convolutional neural network 一、顶层结构 这图包含很多信息量: 图a:中间的忆阻器阵列PE chip只做矩阵乘法,得到的电流通过ADC转成数字信号,然后在软件上进行pooling,Activation,Accumulate等操作,再进入下一层卷积网络。(这一点困扰了我很久,我之前以为pooling和Activation也是通过模拟电路实现的,电流在忆阻器间流动,最后才由ADC输出) 图b:中间有8个PE阵列,每个阵列有$128\times 16=2048$个1T1R单元 图c:这幅图是想告诉我们忆阻器的电导值波动不大。每个忆阻器都施加0.2V的电压,得到的电流就是横坐标X轴,表示不同电导的忆阻器。它们有一个累积概率分布(对,就是概率论里面的累积概率分布F),可见某一电导的方差很小,波动性不大。 二、推理过程数据流 这图介绍了MNIST手写数据集推理过程的算法,以及算法如何映射到忆阻器阵列,非常重要。 图a:算法上的计算包括卷积1、pooling1、卷积2、pooling2、全连接。第一层卷积$1\times 3\times 3\times 8$有72个权重,为了表示正负,需要引入差分,如图c。所需要的元件加倍,即图a中蓝色图例“$C_1,kernel 16\times9$” 这些权重映射到第一个PE单元中。 图a:第一层出来的电流需要经过ADC转成电压,在软件上做pooling和Activation,然后再进入下一层卷积层(这一点和我之前的理解不一样,之前觉得电流会在网络中一直流动,最后分类的时候才出ADC)。所以ADC在外围电路中非常重要,占整体功耗的近90%。 图a:第二层也要考虑差分,需要的权重为$8\times3\times3\times12*2=96\times9 *2$,分别映射到PE1和PE3。第三层全连接,需要权重$192\times 10 *2$,分布映射到PE5和PE7。 需要说明的是,各层的权重是在GPU上训练好的,根据一定关系转为电导值,通过“check”的方式确定每个电导和理论的相同,整个过程比较耗时耗力;之后两个卷积层不参与训练,全连接层会参与忆阻器阵列中的训练。 软件训练的测试集精度为97.99%,15level(4bit)量化之后为96.92%,映射到忆阻器上为95.07%,最后训练全连接层,达到96.19%的精度。经过全连接层训练,训练集精度从95.18%增加到96.79%。 混合训练的方式证明有效:随机化这个网络10%的权重,准确率降到80.66%,但用少量数据(10%)训练全连接层,可以恢复到94.40%。ResNet56的网络完成cifar10任务,全精度准确率95.57%,15个level量化后为89.64%,仿真器映射后降到79.76%,用3%的数据训练最后的全连接层,准确率回到92.0%。 三、推理过程电路结构 这图最有趣的是输入:8bit的数据是通过8个周期送入阵列的(之前一直以为是一次进入),每次出来的电流会在MUX中做差分,进入ADC,再经过Shift & Adder将八次的结果移位累加,转化为电压信号。这一点大大降低了器件的工作频率(20M/8=2.5MHz),相比GPU的2.5GHz,差了1000倍,这是制约算力重要因素。 四、其他重要问题 1.忆阻器如何改变电阻? 忆阻器RRAM通过plug(电热调制层,可以通过改变电导率和热导率来调制氧空位分布和阻变过程)与MOS管的漏极D相连。它有三种写操作:FORMING、SET、RESET。 FORMING:源极S接地,栅极G接$V_g$,RRAM施加FORM电压,将器件由高电阻状态打到低电阻状态。 SET:源极S接地,栅极G接$V_g$,RRAM施加脉冲信号,一般2.0V,50ns,电导随脉冲个数的增大而增大。 RESET:RRAM接地,栅极G接$V_g$,源极S施加脉冲信号,一般-1.8V,50ns,电导随脉冲个数的增大而减小。 图中的横坐标是流过RRAM的电流随施加电压的变化关系,与一般的电阻(直线)相比,确实有明显的非线性和滞回性。 2.忆阻器阵列如何做权重更新? 对于理想阻变器件,线性度和对称性很好,可以通过控制施加的编程脉冲个数直接实现定量的更新。能降低硬件开销、实现低功耗、高能效的片上训练。 但是实际器件不仅存在明显的波动,而且非线性和非对称性显著,无法通过脉冲个数实现定量更新。只能确定更新的方向,然后每次只加一个set或reset脉冲。 3.算力与功耗分析 峰值算力为81.92$GOPs_{-1}$,功耗只有7.438mW。列出常见的CPU、GPU算力,以int8为基准: 型号 工作频率 ALU单元 乘+加 功耗 算力 能效 Intel Xeon E5-2699 v3 2.3G 18* 2 * 64 2 145w 10.6TOPs 73GOPs/w TPU 0.7G 64k 2 384w 90TOPs 240GOPs/w NVIDIA Tesla V100 1.455G 5120*4 2 300w 60TOPs 200GOPs/w 忆阻器阵列 20M/8 128*128 2 7.4mw 82GOPs 11014GOPs/w 可见,忆阻器的算力瓶颈在频率上,而它的功耗是真的低! 五、可以做的工作 1、如何增加通用性? 文章介绍的是MNIST识别的应用,是否可以通过编译,做更加复杂的如tramformer等网络的训练? 2、在线训练能力提高? 文章的权重是在GPU上训练好的,类似“迁移学习”,能否不依赖GPU,独立做所有的训练? 3、训练好的数据如何更快map到rram阵列? 文章的权重map到rram上非常耗时耗力,灵活性不强,能否有更加高效的映射方法? ###4、设计低功耗,面积更小的ADC? ADC占总体功耗的90%,每一层都需要转换,是否可以用模拟电路完成pooling和Activation的功能。设计更低功耗的ADC也相当重要。 ###5、RRAM结合异步电路会有什么火花? 人脑没有全局时钟,并具有记忆功能,RRAM与异步电路结合,是否有新场景?