模型剪枝就是减少神经网络的参数和模型的大小,使得模型能够获得更好的性能。模型剪枝可以分为三类:对权重进行限制,对隐藏单元进行剪枝,以及结构上的剪枝。通过限制权重的衰减来消除参数的贡献,以及让参数有一定的正则化,改进模型泛化性能。还有一些特定性的剪枝方法,比如利用图像进行结构剪枝,利用树形剪枝去除一些不重要的分类器,以及利用神经网络中重要节点的特征来进行剪枝等。