深度神经网络 (DNN) 通常可以通过 L1 正则化或连接修剪等方法实现高度稀疏性 (>90%),从而压缩模型大小。然而,稀疏性的随机模式会导致较差的缓存局部性和跳跃存储器访问,限制了计算速度的提升。
结构稀疏学习 (SSL) 方法利用组 Lasso 正则化动态学习紧凑的 DNN 结构,包括减少过滤器、通道、过滤器形状、神经元和层数。实验证明,SSL 方法可以在 GPU 上实现 AlexNet 卷积层 3.1 倍加速,在 CPU 上实现 5.1 倍加速。
SSL 方法的关键优势在于利用 BLAS 中现有的 GEMM 度量(例如 CPU 中的 MKL 和 NVIDIA GPU 中的 cuBLAS)实现加速。此外,SSL 方法的变体可以将 AlexNet 的准确性提高约 1%,并减少深度残差网络 (ResNets) 的层数,同时提高其准确性。