网络犯罪活动尝尝依附于恶意软件的发展。在“互联网安全威胁报告”中,利用恶意软件进行犯罪成为最终犯罪。勒索软件是传播最多的恶意软件之一,自2013年以来逐年增加,2016年达到峰值,2017年出现1,271次。一些勒索软件,如WannaCry,Petya/NotPetya和Badrabbit通过计算机网络传播。通过利用MS17-010漏洞,这种勒索软件传播利用SMB漏洞,更快地传播到另一台计算机。所以,勒索软件攻击对用户计算机来说十分危险。一些安全人员依赖安全工具,如防病毒工具。但是,防病毒工具的开发公司通常需要很长时间才能提供最新更新。为了解决这个问题,本研究提出了基于Ransomware文件的DLL文件和API调用的防病毒签名。为了检测网络计算机上的勒索软件流量,本研究提出了网络入侵检测。因此,基于网络入侵检测的防病毒签名和检测流量检测文件具有较高的理论价值和实际意义。某些防病毒软件使用基于MD5和hexdump的防病毒签名。通过收集恶意软件文件,逐个分析它,提取MD5并提取hexdump。该系统对具有类似MD5和hexdump的已知恶意软件很有效。但是,一些恶意软件虽然具有相同的类型但MD5和hexdump不同。为了解决这个问题,本研究基于DLL文件和功能API调用改进了检测勒索软件文件。使用提取便携式可执行文件(PE)头文件,DLL文件和功能API调用来分析Ransomware文件的特征。实验显示基于DLL文件检测Ransomware文件和使用机器学习的功能API调用可以很好地检测基于MD5和hexdump的文件。本次实验中勒索软件文件检测的准确率为94%。利用SMB漏洞,勒索软件能够在网络计算机上传播。一些研究仅分析僵尸网络和另一种恶意软件。众所周知,对勒索软件进行分析,并在网络计算机上进行检测的效果是有限的,一些国家已经开始重视这种勒索软件的影响。为了解决这个问题,本研究提出了检测勒索软件流量的网络入侵检测系统。通过分析勒索软件行为,利用机器学习对流量进行分类,并制定检测勒索软件的规则。实验结果表明,成功检测勒索流量,改进了网络入侵检测系统的检测对象和方法研究。使用机器学习检测勒索软件流量的精确度为99%。考虑到勒索软件的高速发展,本研究提出了两种检测系统。第一次使用防病毒签名检测其文件,第二次使用网络入侵检测系统检测其流量。实验结果表明,该系统能够检测勒索软件文件和流量,并改进了检测方法。