集成光学和微纳光学是近些年来快速发展的两个前沿领域。前者主要致力于利用光子集成回路,将光源、光波导、调制器、滤波器、探测器等各种功能模块集成在一起,实现高度集成的多功能光学芯片。作为性能优异的传统光电材料,有着“光学硅”之称的铌酸锂,凭借其高折射率、宽光学透明窗口、强电光效应、强压电响应及大的非线性系数等性质,受到了广泛的关注和研究。尤其在绝缘体上的铌酸锂薄膜（LNOI）研制成功以后,再次掀起了铌酸锂微纳器件和光子集成研究的热潮。微纳光学则主要研究在波长或亚波长尺度下,光和物质的相互作用及演化行为,利用特殊设计的微小结构,对光进行灵活的操控。超表面（Metasurface）设计的出现,给人们实现灵活的多维光场调控带来了技术上的革新,并促进了光学系统的微小化和集成化。本文重点围绕铌酸锂薄膜这一优异的光电集成平台,从面内光波导模式间相互作用以及和空间光场转换的角度,借助于微纳光学中新颖的超表面技术,在频率转换和光场调控方面进行了相应的研究,包括杂化波导中模式间的光学倍频,超表面调控面外空间光到导波模式的耦合、倍频转换和波前调控,以及超表面调控导波模式到面外空间的光场辐射。具体内容包括:1、研究了硅/铌酸锂杂化波导中模式特性、非线性耦合波相互作用过程及其对波导参数的依赖关系。运用非线性耦合模理论和非线性时域有限差分全波仿真,分析了传统铌酸锂波导中模式色散相位匹配法实现倍频的过程,考察了其模场交叠和非线性转换效率的规律。提出了铌酸锂薄膜上加载硅条的设计方案,打破了波导模式分布对称性,使基波光与倍频光之间具有大模场交叠,从而实现了高效的非线性倍频转换。2、研究了超构表面与铌酸锂波导的耦合体系,考察了空间光到波导模式倍频光的耦合、频率转换及波前调控特性。通过设计亚波长光栅超表面,使其同时满足光耦合和频率转换的相位匹配条件,将空间入射的基波光转换成了波导模式的倍频光。进一步,引入全息思想,将振幅、相位信息编码到更加复杂的超表面结构中,在频率转换的同时对产生的倍频光导模实现灵活的波前调控,包括在波导中实现了倍频光的聚焦、双聚焦和倍频艾里光束的产生等。该方法将空间光到导模的耦合、基波光到倍频光的频率转换以及谐波输出波前操控三个过程合为一,实现了高度集成的非线性光束调控功能。3、研究了导波模式激发的超表面光场调控机理,实现了对铌酸锂导模空间辐射的自由调控。将超表面引入到波导系统中,通过在铌酸锂波导表面设计集成的超表面结构,利用波导本征模式激发天线单元辐射模式,并对其波前进行调控,将导波光转化为特定的自由空间辐射光。实验上我们利用电子束曝光和反应离子刻蚀,在铌酸锂平板波导上加工了几何相位型硅超表面结构,实现了波导集成的聚焦透镜、涡旋光束及其阵列发射器,以及导波全息成像等。