伴随互联网的新兴业务如雨后春笋般涌现和万物互联的智慧时代来临,全世界网络流量总量呈急剧式地猛涨。这使得基于云计算和数据中心的新型技术也在不断地呈现出来,这给数据中心之间的通信系统不断带来了新的挑战。数据中心与数据中心之间通信系统采用的是具有低成本和设备较简单的优势的直接检测光通信系统,而当下通信网络环境对直接检测光通信系统性能提出了越来越高的要求。大多数光纤通信系统实际上是功率受限的,特别是低成本的短距离光纤传输系统,这是本文的侧重研究点之一。另外,互联网的丰富业务以及智慧物联网应用等给人们带来便捷的同时也使人们的隐私受到了威胁。传统的上层网络协议和算法的保密技术已经不能够应对强大计算力度的提升速度。物理层加密技术以高速率、低延时、高可靠的特性脱颖而出,如何设计出可适性更高、安全性能更可靠、复杂度更低的物理层加密方案也是本文的主要研究点。本文主要以基于星座图变换的Kramers-Kronig（KK）接收机的短距离直接检测系统和光通信系统的物理层加密为文章的主题,对如何提升系统性能和设计新的物理层加密方案进行深入研究,并通过搭建多个通信仿真系统进行验证方案的可行性,其主要工作及创新点为:（1）阐述了直接检测光通信系统的主要组成部分的原理,以及详细介绍了 KK接收算法的原理和单边带信号产生的几种方式。为了降低系统对光信噪比（OSNR,Optical Signal to Noise Ratio）的需求,本文在阐述几何整形（GS,Geometric Shaping）和概率整形（PS,Probabilistic Shaping）机理后将其引入基于KK接收机的直接检测系统中。仿真结果表明在引入混合概率几何整形较传统的均匀分布对OSNR要求可降低0.6dB,对于64正交幅度调制（QAM,Quadrature Amplitude Modulation）调制格式信号引入几何整形对比传统的均匀分布对OSNR要求可降低0.5dB。（2）在介绍了常见的几种物理层加密方案基础上,由高阶调制格式的多种产生方式而设计出基于相位调制器的星座图旋转物理层加密方案。为了验证方案可行性,本文在介绍差分移相键控（DPSK,Differential Phase Shift Keying）系统之后引入了加密方案,通过仿真表明窃听方不能够正确得到传输信号并且合法接收方接收到的信号较未加密接收信号误码率的误差可以忽略不计。在DPSK调制格式下,该方案等价于实现了光异或逻辑运算。与此同时,本文还简要介绍了相干光通信系统的基本原理,并且还通过了改变不同的旋转角度和正交相移编码（QPSK,Quadrature Phase Shift Keying）调制格式以及更高阶16QAM调制格式进行分析对比,更高阶的调制格式在旋转角度更大的时候窃听方接收到的星座图是更加混乱。在旋转星座图加密方案的启发下,本文提出将几何整形作为加密技术。通过基于GS的KK接收机直接检测光通信系统进行验证,并以互信息（MI,Mutual Information）作为评判标准,结果表明窃听方得到错误的MI值。