热门
最新
红包
立Flag
投票
同城
我的
发布
IJCAI 2020 论文推荐：
TRP: Trained Rank Pruning for Efficient Deep Neural Networks
为了在移动电话等边缘设备上实现DNNs，低秩逼近（low-rank approximation）由于其理论基础坚固和实现高效而被广泛采用。之前的一些研究工作试图通过低秩分解直接逼近预先训练好的模型；然而，参数中微小的近似误差会引起较大的预测损失。因此性能通常会显著下降，并且需要进行复杂的微调来恢复精度。显然，从训练中分离低秩逼近不是最优的。
与以往的工作不同，本文将低秩逼近和正则化融入到训练过程中。作者提出了Trained Rank Pruning (TRP)，它在低秩逼近和训练之间交替。在训练过程中，TRP在施加低秩约束的同时保持了原始网络的容量。利用随机次梯度下降优化的核正则化进一步提高了TRP的低秩。经过TRP训练的网络本质上具有低秩结构，近似于可忽略的性能损失，从而消除了低秩分解后的微调过程。
该方法在CIFAR-10和ImageNet上进行了综合评价，性能优于以往使用低秩逼近的压缩方法。
论文链接：https://www.aminer.cn/pub/5eabf34391e011664ffd2878?conf=ijcai2020?f=cs
CSDN App 扫码分享
评论
1
打赏
- 复制链接
- 举报
下一条： 
刚刚登陆的群众，开始他的吃瓜旅程……
刚刚登陆的群众，开始他的吃瓜旅程……