卷积神经网络在图像分类上的高准确率使其被广泛应用在自动驾驶、人机交互,移动机器人等重要领域。然而,巨大的模型参数量和极高的算力需求成为制约卷积神经网络在移动端应用场景部署的主要瓶颈。因此近年来,多项研究致力于设计轻量级网络和高性能硬件加速器。以Mobile Nets为代表的深度可分离网络大大减少了参数量和运算量,受到研究人员青睐,并被部署在基于GPU、FPGA、ASIC等加速器上。在上述加速器中,FPGA凭借高度可重构性成为备受关注的研究平台。以往基于FPGA的卷积神经网络加速器大多只关注性能与实现,面对庞大的片内存储需求和片外存储访问量,过度依赖先进平台的资源和带宽优势,难以向下兼容。本文的主要贡献是设计了一个可伸缩的轻量化FPGA卷积神经网络加速器框架。首先,本文从加速器关键技术入手,对计算引擎、数据流、控制体系和数据量化等基本方案进行了分析与确定,随后设计了兼容多种运算的多尺寸卷积计算引擎。针对深度可分离网络难以直接使用层融合优化手段的问题,本文提出了一种多向融合卷积计算顺序设计方法。基于该方法,所提出加速器框架在不缓存输出特征数据的前提下实现部分卷积层融合,大大减少了片内存储需求和片外存储器访问量。除此之外,本文还对加速器的控制体系和片外存储器地址空间进行了优化设计,使加速器框架更加灵活,片外存储器更加高效。最后,本文对加速器框架进行了完整的仿真,从模块到整体验证加速器功能符合预期,并通过在不同资源和带宽规模的FPGA平台上部署多种规模的加速器的板级测试手段,对加速器框架进行性能评估。评估结果显示,即使在性能与资源均较落后的FPGA平台上,加速器的吞吐率仍优于CPU。在性能较好的FPGA平台上的测试结果优于最近几年加速器研究工作,且在功耗表现上比GPU优秀4倍以上。证实本文提出的加速器框架既能达到较高的计算性能又具有出色的可伸缩性。