由于在工程、生物和社会领域有着广泛的应用前景，多智能体系统得到控制科学领域科研工作者的持续关注。本文综合利用矩阵理论、控制理论、博弈理论和代数图论等理论工具，研究多智能体系统的性能优化问题，主要内容包括以下几个方面：　　1.针对具有单一领航者的多智能体系统，本文研究领航一跟随一致性最优拓扑问题。针对由单积分器节点组成的多智能体系统，本文提出一类独立于系统通信拓扑的全局性能指标，并利用线性二次型最优控制理论，证明系统解决领航一跟随一致问题的最优拓扑是一个加权有向星拓扑图。对于由双积分器节点组成的多智能体系统，本文也给出一类二次的全局性能指标，并证明系统达到二阶领航一跟随一致性的最优拓扑是一个位置图与速度图权重不均衡的加权有向星拓扑。这一结果显示，当每一个跟随者都可以直接与领航者相连接时，跟随者之间的交互是不必要的。　　2.针对具有一个导航型领航者以及一个敌对领航者的多智能体系统，本文研究以最小化敌对领航者影响力为目标的通信拓扑设计问题。敌对领航者影响力定义为跟随者相对于导航型领航者的跟踪误差函数。首先，本文从选择导航信息接收个体（即能够直接接收导航型领航者信息的跟随者）的角度考虑这一问题。为此，本文提出两类组合优化问题。其一是通过选择导航信息接收个体最小化跟踪误差。其二是在存在误差容许上限的条件下，选最小数目的导航信息接收个体。由于上述两类问题都是NP-难的，本文分别给出两个优化算法计算这两类问题的次优解。其次，对于导航信息接收个体已给定的情形，本文从设计相应的边权重的角度出发，利用凸优化的方法估计跟踪误差的上界和下界。　　3.多个领航者为争夺跟随者资源往往存在竞争，本文研究这种领航者间的竞争行为。首先，利用博弈理论和矩阵理论，本文提出一个以领航者为参与者的二人零和博弈模型。参与者的策略为每一个领航者可以从跟随者中选择不多于k个个体发送信息。由于系统的通信拓扑由参与者的策略对决定，纳什均衡对应的通信拓扑图被称为均衡拓扑图。其次，本文进一步证明，当达到纳什均衡时，每个参与者恰好会选择k个跟随者与之相连接。最后，对于k=1的情况，本文得到均衡拓扑的充分必要条件，并且对于跟随者间的通信拓扑为循环图或者具有中心节点的情形，给出均衡拓扑图。　　4.具有不同利益的群组间由于利益冲突往往存在竞争，本文研究这种群组间的竞争。对于由三个群组组成的多智能体系统，第一和第二群组的个体通过向第三群组的个体发送信息对其施加影响，并且每一个个体都希望能够最大化自己的影响力，这使得个体间存在竞争。第一（第二）群组内的个体相互合作、达到一致，它们具有相同的利益，可以将整个群组看做一个整体。因此，个体间的竞争实质上是两个群组间的竞争。首先，本文利用博弈理论建立以第一和第二群组为参与者的非合作博弈模型。参与者的策略为选择发送和接收参与者信息的个体。观察到系统的通信拓扑图由博弈的策略对决定，由纳什均衡决定的通信拓扑被称为均衡拓扑。其次，本文给出均衡拓扑的必要条件，并且对于第三群组内部通信拓扑为树图或具有中心根节点的情况，得到可交换的纳什均衡解。值得一提的是，第一和第二群组间的竞争性行为可能使第三群组的个体达到一致。最后，当第三群组内部通信拓扑为无向图时，本文给出均衡拓扑的充分必要条件。