谷歌的relu2激活函数真的很好。相比relu，relu2是处处可导的，而且在大于1的区域，导数大于relu的，更有利于快速收敛。相比sigmoid，relu2没有梯度消失的问题。简单又完美！