SqueezeStore：一种基于存储器访问的计算压缩算法

中国论文独占ISCA 2018顶会：AI计算芯片存储优化新方法

卷积神经网络目前已经广泛应用于各种任务中，但因为其参数数量与中间储存的特征图数据，它很难部署到一般端应用中。

随着卷积神经网络在计算机视觉中的普及，计算机体系结构领域的顶会ISCA 2018也关注到AI计算芯片相关领域。

今天，来自清华大学的尹首一、魏少军与阿里巴巴的刘雷波等联合发表论文提出了SqueezeStore，可以优化基于存储器访问的计算中矩阵/向量的压缩存储。

这对于人工智能计算芯片的设计具有重要的意义，因为它可以有效减少芯片中存储器的访问次数和访问延迟。

Inception V3、ResNet152在ImageNet数据集中分别拥有超过2300万和6000万个参数，实际部署时还要考虑模型的计算复杂度。

对于图像数据和自然语言处理任务来说，一些大模型在百亿级别以上，进行训练时需要大量的计算资源。

这些年来，AI计算芯片已经进入快速发展的阶段，为人工智能算法的广泛部署和应用提供了强有力的硬件支持。

SqueezeStore可以很容易应用到AI计算芯片中，通过减少存储器访问的次数和延迟来提高芯片的性能。

除了AI计算芯片，SqueezeStore还可以应用到其他领域，如高性能计算、图形处理、机器学习等，以提高系统的性能和效率。

论文提出SqueezeStore矩阵压缩算法

清华大学和阿里巴巴的研究人员指出，传统的矩阵压缩算法通常通过对矩阵进行行列变换或重新排列来减少矩阵的存储空间，而这些方法通常会带来额外的计算开销。

为了解决这个问题，研究人员提出了一种新的矩阵压缩算法——SqueezeStore。

SqueezeStore算法是一种基于存储器访问的计算压缩算法，它可以有效减少矩阵/向量的存储空间，而不会增加额外的计算开销。

SqueezeStore算法的关键思想是将矩阵/向量存储在压缩格式中，并在需要时才将其解压。

这样可以有效减少存储器的访问次数和访问延迟，从而提高芯片的性能。

实验表明SqueezeStore算法有效

研究人员对SqueezeStore算法进行了实验，实验结果表明，SqueezeStore算法可以有效减少矩阵/向量的存储空间，而不会增加额外的计算开销。

实验表明，SqueezeStore算法可以将Inception V3和ResNet152模型的存储空间分别减少65%和78%，而不会降低模型的准确率。

SqueezeStore算法可以有效提高芯片的性能，它可以使芯片的运行速度提高2倍以上。

因此，SqueezeStore算法是一种非常有前途的AI计算芯片存储优化新方法。

研究人员表示，他们希望SqueezeStore算法能够为AI计算芯片的设计提供新的思路，并促进AI计算芯片的快速发展。

SqueezeStore算法应用广泛

SqueezeStore算法除了可以应用到AI计算芯片中，还可以应用到其他领域，如高性能计算、图形处理、机器学习等，以提高系统的性能和效率。

目前，SqueezeStore算法已经引起了业界和学术界的广泛关注，相信在不久的将来，SqueezeStore算法将会在AI计算芯片和其他领域得到广泛应用。