随着当今信息化进程的不断发展，人们对多媒体宽带业务的需求日益增长，目前无线通信拥塞的微波频段已无法满足多种业务需求,ROF（Radio Over Fiber）系统则孕育而生，它既利用了无线技术的移动性来取代光纤通信的有线束缚，又利用了大容量的光纤来传输在空气中高损耗的无线信号，具有极大的应用潜力。近年来，随着无线局域网和第四代移动通信系统对于接入带宽要求的提高，以及各种光调制器和光电转换器等关键器件的成本降低，以毫米波作为传输载波，数据速率达到2.5Gb/s的ROF系统在未来的通信领域中将占有一席之地。本文着重研究基于不同调制方式的ROF通信系统以及相关传输性能，针对光毫米波的传输、基站简化技术和多倍频技术这三方面展开研究，主要工作和创新点如下：第一，针对光毫米波的传输技术，比较研究了基于相位调制或强度调制的两种单工20GHz-ROF系统（2.5Gb/s下行传输链路），并对光谱图和眼图等关键性能进行了仿真研究和比较，结论得出在传输距离相同的情况下，基于强度调制的系统最大Q值153，远大于相位调制系统的最大Q值78，这表明采用基于强度调制方式产生载波抑制边带的ROF系统更适合于光载波抑制单工传输系统。第二，针对基站简化技术方案，提出一种基于光载波抑制的双工传输20GHz-ROF系统（包括2.5Gb/s上、下行链路），并进行仿真研究，与一般的单工传输系统相比，当误码率为10-9时，其下行链路接收端的功率损耗降低了0.3dB，Q值达到74，且双工传输获取的单边带信号解调时，可以避免单工传输时出现的光电流周期性衰落现象，从而减少色散效应对系统的影响。第三，针对多倍频技术方案，研究了三种ROF传输系统：基于四倍频的40GHz-ROF单工系统和基于六倍频的60GHz-ROF单、双工系统（包括2.5Gb/s上、下行链路）。60GHz-ROF双工系统在采用低频本地振荡信号有效产生高频高质量的毫米波的同时，能实现基带信号的双向传输；与一般的双工系统相比，当误码率为10-9时，接收端的功率损耗降低了0.5dB，上、下行链路Q值高达161和72。