在各种高带宽业务广泛普及和网络快速发展的大背景下,我国加大对PON技术的研究,以期支持FTTx技术的发展。10G PON和40GPON等技术成为未来的发展趋势。随着网络速率的进一步提高,些在低速系统中可忽略的链路影响因素(例如CD、PMD等)在高速系统中的影响日益突显。CD会引入码间干扰,使得系统传输距离受到限制,无法满足系统的长距离传输要求。为了满足高速PON系统的传输要求,一方面需要寻找新的调制技术,提高系统对高速环境下不利因素的容忍性；另一方面,需要设计新的方案,在提高系统性能的同时,降低系统的构建复杂度,从而降低系统的成本。因此,高速PON调制等关键技术研究成为发展下一代PON领域的研究热点。本文对高速PON系统的调制和解调技术进行了深入的研究,并取得了相应的创新性研究成果。本文的主要内容如下：1.针对采用光相位调制器实现光双二进制调制的高成本、不易集成的问题,本文从双二进制的编码方式出发,创新性提出一种利用EA强度调制器实现相位调制的方案,在满足高速系统传输距离要求(≥40km)的同时减小光发射机成本,并仿真验证了所提方案的可行性。2.针对40Gbit/s及以上速率的偏振复用系统中偏振串扰所引入的码间干扰问题,本文提出一种50%RZ偏振延时交叉复用方法,使得两个偏振态的50%RZ信息之间有T/2周期时间的错位,从而有效的避免了偏振串扰的影响,并仿真验证了所述方法的有效性。3.针对40Gbit/s相干PON系统中采用TDMA方式的上行链路,其突发接收存在处理时延较大的问题,本文提出一种快速自适应线性损伤补偿和偏振解复用的算法。该算法对自适应均衡模块抽头系数初始化方法进行优化,可针对不同的突发包信息进行抽头系数快速切换,仿真结果表明,所述算法可将自适应均衡收敛所需时间以及DSP处理复杂度减小一半以上。