随着大数据与物联网的蓬勃发展,通信系统所含信息量爆炸式增长,5G时代的来临对通信质量提出了更高要求。而以正交频分复用技术为核心的第四代无线通信技术已经无法满足新兴业务场景的需求,所以研究人员提出采用新型多载波技术取而代之。其中滤波器组多载波技术（FBMC）因具有低带外泄露和高频谱利用率等优点而备受瞩目。在FBMC系统中,原型滤波器是影响系统性能的关键,对原型滤波器的特殊设计可以让FBMC系统性能更加优越。同时,FIR滤波器是数字信号处理中的关键原件,实现其优化设计可以有效提高系统性能。因此,通过对FIR滤波器进行特殊设计,并将其作为原型滤波器应用于FBMC系统是可行的。针对以上思路,本文研究了通过无约束梯度优化以及约束优化所得特殊设计FIR滤波器作为原型滤波器在FBMC系统中的应用效果。本文首先对FBMC系统和其原型滤波器,以及FIR滤波器设计作了初步介绍。然后,推导得到了与滤波器系数直接相关的多种表达形式的信号对噪声和干扰比（SINR）模型,并且证实了其准确性和应用价值。接着将SINR模型进一步转化为误码率（BER）模型,以子载各时刻平均BER为代价函数,通过无约束梯度优化方法,实现对由一般LPFF和NLPFF所得两种结构类型原型滤波器的优化。在AWGN和CFO两种情况下优化结果均只能得到NLPFF,对其进行性能测试,并将SINR（BER）结果作为标准与PHYDYAS滤波器进行比较。仿真结果显示在保证更优阻带性能前提下,通过以上方法优化所得结果可逼近甚至优于PHYDYAS滤波器SINR（BER）结果;若不考虑滤波器性能,可使SINR（BER）结果的进一步提升。最后,为了使滤波器在FBMC系统应用中综合性能更优,实现性能的精确调控,本文提出了将模糊函数或者SINR（BER）作为约束条件添加至FIR滤波器约束优化模型中,实现针对FBMC系统的特殊原型滤波器优化设计。其中添加模糊函数约束的方法为将模糊函数根据其位置关系表示成两种约束条件,并结合平方根奈奎斯特（SR-NYQ）滤波器设计方法,对通带、阻带误差能量和模糊函数进行加权约束,建立了迭代优化设计模型;另外,还提出了将SINR（BER）约束条件结合多指标交换约束条件,得到了新的多指标优化模型,通过对通带波动、阻带衰减及过渡带长度的调节实现原型滤波器优化设计。以上两种方法均可实现滤波器性能和系统性能的相互转换,可通过原型滤波器的优化实现系统性能的提升,所得Ⅱ型LPFF处理后作为FBMC系统原型滤波器能够实现优于PHYDYAS滤波器的SINR（BER）结果,同时拥有更好的阻带衰减和更窄的过渡带。