大规模MIMO是指在收发两端同时配置数十根到上百根天线。在提高系统容量、频谱效率及链路可靠性等方面有巨大潜力。作为5G关键技术之一,受到产业界和学术界的广泛关注。但大规模天线将导致硬件复杂度和检测算法复杂度的升高。广义空移键控(GSSK)调制是在一个发送符号周期内只允许几根天线被激活,但发送符号的相位和振幅不携带任何信息。而是将信息比特编码到发射天线的各种组合上面,只通过天线索引来传输信号。这样降低了信道间干扰(ICI)和硬件复杂度,同时也提高了能效。在接收端只需要检测激活天线的位置,从而降低了检测算法复杂度。GSSK能够有效解决大规模MIMO射频链路多,信道间干扰严重和天线间同步难等问题,为大规模MIMO的实际应用和理论研究提供了新的思路和方法。本文主要对大规模GSSK-MIMO系统的信号检测进行了研究,并提出了三种新的检测算法。本文主要研究内容及提出的创新点如下:一、提出了一种基于罚函数的检测算法。本文采用罚函数法将GSSK检测转化为一个无约束的二次规划问题。同时,提出一个引理并证明了当罚因子大于某一常数时这两个问题是等价的。最后,本文给出了一个有效估计罚因子的方法。二、提出了一种基于二次规划全局最优必要性条件的部分最优检测算法。基于该必要性条件,本文提出了一个最优判决准则。同时,为了进一步提高判决准则的性能,又提出了一种判决反馈算法。最后将已判断出来的元素带入原问题进而获得一个小规模的二次规划问题,结合传统的次最优算法来高效求解该小规模问题。三、提出了一种基于概率排序的串行干扰消除检测算法。基于李雅普诺夫中心极限定理和二次规划全局最优必要性条件,本文推导出了输入符号可以被正确判决的概率。根据该判决概率对串行干扰消除检测进行优化排序,从而有效的克服了串行干扰消除误差传播的影响。本文对提出的三种检测算法分别进行了数值仿真。仿真结果证明所提算法均能获得较好的性能,为大规模GSSK-MIMO系统的实际应用和理论研究提供了新的思路和方法。