光子晶体中的偏振模式耦合是光子晶体的重要物理特性之一。发生在光子晶体线缺陷带隙限制光波导中的偏振模式耦合,会引起带隙限制波导损耗的增加,成为限制其应用的重要原因。通过光子晶体的结构设计控制偏振模式的耦合不仅可以有效地减小带隙限制光波导的本征损耗,还为其在偏振控制等方面的应用提供了可能。同时,在二维光子晶体中,由于纵向波矢分量而引起的偏振模式耦合理论则预言了一系列新的物理现象。本论文研究了光子晶体线缺陷带隙波导中的偏振模式耦合特性,探索了二维光子晶体由纵向波矢分量所引起的偏振模式耦合现象。本论文的主要成果有:(1)针对四方格子结构的二维光子晶体,研究了通过插入小圆柱来降低开启带隙对折射率差的要求。对于四方格子空气孔光子晶体,其绝对带隙的折射率阈值降低为2.20,这比三角格子光子晶体的折射率阈值还要小。(2)研究了光子晶体线缺陷波导中的偏振模式耦合损耗,提出了耦合损耗的物理机制是在垂直方向不对称的情况下,对模式的近似划分导致的模式不正交性。这种不正交性导致了TE缺陷模式的能量会耦合到TM辐射模式中去,即发生损耗。(3)建立了一套分析计算模式耦合损耗的方法,并通过该方法优化波导设计以降低模式耦合损耗,把耦合损耗从40dB/mm降低到10.1dB/mm。(4)探讨了纵向波矢分量对能带图的影响,发现了在色散曲线相交和模式对称性相同的模式点,纵向波矢分量能够导致模式耦合和偏振变化的物理现象。