随着人工智能的兴起,语音识别成为人工智能应用的一个重要领域。目前,语音识别在智能家居、智能车载和社交聊天中有着广泛的运用。在这些应用中,语音识别对实时性、低功耗以及低成本有着极高的要求。因此,设计专属语音识别的硬件加速器,成为语音识别在终端领域应用的迫切需求。本文针对语音识别在终端领域落地的迫切需求,提出了一种端到端语音识别硬件加速器的设计方法。在算法层面,通过定点量化和TOP-K剪枝技术,降低了神经网络模型的参数量和计算量,缓解片上内存开销压力,为稀疏AI硬件架构提供了算法支持。在硬件层面,设计了支持稀疏矩阵运算和稠密矩阵运算的可配置模块,以及sigmoid函数、tanh函数和Softmax函数的高性能硬件实现;并且,通过对权重矩阵分块后在时间维度上的复用,不仅能够降低对片外DRAM带宽的依赖,还能降低因访存带来的功耗。软件层面,通过配置加速器相应地址的寄存器,从而提高了加速器的灵活性。实验结果表明,基于上述算法、硬件和软件层面所提出的设计方法,该加速系统与此前基于CPU平台、GPU平台以及FPGA平台的加速系统相比,系统处理速度分别提升27倍、4倍和4倍,能效分别提高了471倍、182倍和2倍,因此更加适合部署在终端设备中。