|
基于三值向二值演化的 BNN 剪枝方法
徐 图, 张 博, 李 镇, 陈怡凝, 申人升, 熊波涛, 常玉春
吉林大学学报(信息科学版). 2024 (2):
356-365.
摘要
(
124 )
PDF(2216KB)
(
155
)
针对目前 BNN(Binarized Neural
Network)剪枝方法存在剪枝比例低、 识别准确率显著下降以及依赖训练 后微调的问题, 提出了一种基于三值向二值演化的滤波器级的 BNN 剪枝方法, 命名为 ETB(
Evolution from Ternary to Binary)。 ETB 是基于学习的, 通过在 BNN 的量化函数中引入可训练的量化阈值, 使权重和激活值 逐渐从三值演化到二值或零, 旨在使网络在训练期间自动识别不重要的结构。
此外, 一个剪枝率调节算法也被 设计用于调控网络的剪枝率。 训练后, 全零滤波器和对应的输出通道可被直接裁剪而获得精简的 BNN, 无需 微调。 为证明提出方法的可行性和其提升 BNN 推理效率而不牺牲准确率的潜力, 在 CIFAR-10 上进行实验: 在 CIFAR-10 数据集上, ETB 对 VGG-Small 模型进行了 46. 3% 的剪枝, 模型大小压缩至 0. 34 MByte, 准确率为 89. 97% , 并在 ResNet-18 模型上进行了 30. 01% 的剪枝, 模型大小压缩至 1. 33 MByte, 准确率为 90. 79% 。 在 准确率和参数量方面, 对比一些现有的 BNN 剪枝方法,
ETB 具有一定的优势。
相关文章 |
计量指标
|