模型压缩 模型自动化压缩工具（ACT）

1.2 核心技术方案

图 1 传统手工压缩与自动化压缩 ACT 对比

总结来说，相比传统手工压缩，ACT 的“自动”主要体现在 4 个方面：

用户只用提供推理模型和无标注数据，就可以执行量化训练、稀疏训练等依赖训练过程的压缩方法。

实践中发现，不同的业务模型适用不同的离线量化算法。面对多种离线量化算法及其参数的组合，靠人工实验，难以跟上模型迭代的速度。ACT 借助随机森林超参搜索方法改进了离线量化过程，将原来一周的工作量缩短至 1~2 天。

为了更极致的压缩以取得更好的加速，通常可以将稀疏化方法和量化方法叠加使用。两种方法的叠加效果不仅取决于部署环境，还取决于模型结构。自动压缩功能会分析模型结构，并根据模型结构特点和用户指定的部署环境，自动选择合适的组合算法。

在选定组合压缩算法后，如何针对每个压缩算法自动调参，则是另一个难点。压缩算法的参数设定与部署环境密切相关，需要考虑芯片特性、推理库的优化程度等各种因素。在模型结构多样化和部署环境多样化的背景下，靠人工经验或简单的公式，无法准确评估压缩参数与推理速度的关系。该功能利用数据表结合深度学习模型的方式，对影响推理速度的因素进行建模，为组合算法的参数设置提供指导信息。

323AI导航网发布