随着社会信息化程度的加深，对通信系统容量、质量和不同场景适应能力的需求越来越高。本文借鉴甚小线性调频键控（Very Minimum Chirp Keying，VMCK）的技术思路，利用调频信号的强多径分辨力和多普勒频移抑制力，提出一种新型的非单频波数字带通调制方法——正弦型非线性切谱键控（Sine Non-linear Chirp Keying，SNCK）；并重点从波形优化设计和高效接收方法两个层面开展研究。首先，提出两种基于非线性调频信号的数字带通调制方法——对称升余弦键控（Symmetric Raised Cosine Keying，SRCK）、正弦型非线性切谱键控（SNCK）；构建两种调制方法的数学模型；通过理论推导和仿真分析，研究两种已调信号的相关特性、频域特性和抗噪特性。最终，选取SNCK作为本文后续研究的对象。其次，重点研究SNCK调制的参数配置与已调信号波形样本间相关性的内在关联；建立SNCK已调信号波形样本相关性的数学模型，并推导了波形正交需满足的条件，分析了单调频周期和多调频周期SNCK已调信号的正交性。针对双重三角函数积分运算问题，引入第一类贝塞尔函数公式，推导SNCK已调信号波形样本的互相关系数表达式。在分析单调频周期SNCK已调信号正交性的基础上，提出具有最小D值（即最大频带利用率）的正交正弦型非线性切谱键控（Orthogonal Sine Non-linear Chirp Keying，OSNCK）调制方法，并分析其已调信号频域特性及相干解调误码率性能。再次，以提高噪声抑制能力、频带利用率为目标，重点研究SNCK记忆性调制和已调信号线谱去除技术。通过在SNCK已调信号码元间引入记忆性，提出一种记忆性正弦型非线性切谱键控（Memory Sine Non-linear Chirp Keying，MSNCK）调制方法；该方法利用维特比译码算法的思路进行解调，通过增加码元间的记忆长度，进而提高系统的抗噪性能。同时，提出基于正交正弦基拟合方法的SNCK已调信号谐波线谱去除方法；该方法具有提高SNCK已调信号频带利用率的特点，并可提高信号的抗噪性能。最后，为了进一步提高信道适应能力，重点研究SNCK通信系统的接收方法。采用SNCK已调信号分段近似为线性调频（Linear Frequency Modulation，LFM）信号的方法，利用LFM信号和噪声在分数阶傅里叶变换（Fractional Fourier Transform，FRFT）域聚敛特征的差异，提出基于FRFT域的前置滤波方法；理论推导及仿真分析表明：该滤波方法可有效提高SNCK信号的信噪比改善因子。同时，为了提高SNCK通信系统的高动态场景适应能力，提出一种基于FRFT的SNCK通信系统非相干解调方法；与相干解调方法相比，虽然该方法有一定的非相干损失，但解调性能对相位误差不敏感，且具有较强的多普勒频移和多径干扰抑制能力。