预计到2020年底,我国铁路营业总里程将达到14.6万公里,铁路线路沿线环境复杂,铁路周界易受到自然灾害的影响。沿线自然灾害的发生会影响铁路运营安全,若不能及时发现可能会导致事故的发生,造成重大的人员和财产损失。基于视频监控的智能检测已逐步周界安全检测中应用。结合目前铁路周界安全检测技术的发展方向,本文主要对铁路周界灾害检测问题进行研究,提出了一种基于视频的铁路周界灾害实时检测方法。首先,针对铁路周界环境,确定了检测的灾害数据类型,经过数据搜集、数据标注、数据增广等操作构建了灾害数据集。通过对基于深度学习的目标检测算法进行研究,选择三种目前较为主流的深度学习目标检测算法:YOLOv3、Faster R-CNN和SSD,在服务器上搭建部署了这三种算法模型。通过使用同一灾害数据集分别对进行基本调参的三种算法模型进行训练,观察训练过程并使用同一测试集和指标对比训练后模型的检测效果,采用表现效果最好的算法作为本文自然灾害检测的算法框架并进行了进一步的模型优化。最后,本文提出了基于视频的铁路周界自然灾害实时检测方法,针对铁路周界视频图像的特点,采用混合高斯背景建模的背景差分法做视频预处理,在一定程度上减少了该方法对计算机资源的消耗;并对深度学习灾害监测部分的算法进行了参数调整、模型优化、对比训练,进一步在灾害数据集上提升了检测效果。