卫星编队飞行是未来太空任务的关键技术，编队飞行的中每一颗小卫星都可以单独作为一个卫星来完成精度高、灵活性强的任务，可以完成许多空间地球科学的任务，如分布式孔径雷达，增强了对恒星和扩展的行星检测光学干涉，虚拟联合观测和立体成像平台，空间科学，地球观察等。这项技术面临的挑战是控制编队飞行中不同卫星之间的位置和指向，太空中存在很多的干扰再加上小卫星自身的不确定性，这增加了姿态和位置控制的难度。本文主要针对编队飞行卫星中的相对姿态和相对位置保持问题，对其控制律的设计进行了研究。首先，研究了卫星的运动模型，为了更好的研究编队飞行卫星的相对姿态控制问题，建立了单颗星的姿态运动模型，在此基础上推导出主从式编队飞行卫星的相对姿态运动模型，最后推导了主从式编队飞行卫星的非线性的相对位置模型。其次，设计了基于终端滑模的单颗卫星的姿态控制律，提出了一种新的滑模面，针对控制器产生的奇异问题作了深入的分析，并引入了非奇异的终端滑模面完全解决了控制器的奇异问题。通过数学仿真验证了系统存在干扰和不确定性的情况下，所设计的控制器具有很好的鲁棒性。然后，以主从式编队飞行卫星为模型，基于终端滑模控制理论分别设计了主星与从星的控制律，其中从星的控制律设计是以相对姿态运动模型为基础得到的。对提出的控制律通过Lyapunov方法进行了稳定性分析，可以使得主从星的姿态在有限时间里跟踪上期望的姿态。最后，针对卫星编队飞行中的相对位置保持问题，设计了基于非奇异终端滑模的控制律，在理论上深入分析了由于选择的非奇异终端滑模而引起的初始收敛速度过慢的问题，并引入一种快速的非奇异终端滑模来解决该问题。通过数学仿真验证了所设计的控制律的有效性及可行性。