本文主要利用广义限制李代数的概念和性质，对模李代数的不可约表示进行研究，给出了具有三角分解李代数的广义限制单模的结构，得到了特征高度大于等于2小于p—2+δLW时Cartan型李代数L=X（m，n），X=W，S，H的不可约表示。本文也在李群的模表示方面做了一定的研究，利用代数群模表示的一些结果，计算了有限辛群Sp（4，3n）的第一Cartan不变量。全文共分四章： 第一章概述了模李代数及其表示的基本概念和工具，以及各个研究子课题的历史背景和研究进展现状。 第二章首先详细综述了广义限制李代数的概念.其次，对具有三角分解的李代数L进行讨论。给定L的一组有序基BL=B_（）B0（）B+，研究了L的既约包络代数u（）（L），验证了以下结果：①对任意h∈B0，有[h，xT]=—δ（h）xT，其中δ=α1+…+αt；②对任意y∈B_以及0≤a≤T，则有degB+[y，Xa]3的条件下得到的.注意到，由于Cartan型李代数是具有三角分解的李代数，所以上述定理4去掉特征p>3的条件，给出当特征标高度htX=—1时，任意特征p>0的Cartan型李代数单模的结构。以典型李代数G2的变形V3G为例，给出了V3G的广义限制单模同构类的代表元集，并且给出了它们的维数. 第三章继续利用广义限制李代数的定义，研究Cartan型李代数L=X（m，n），X=W，S，H的不可约表示.首先概述了Cartan型李代数和本原p—包络代数的定义，说明了Cartan型李代数是一个广义限制李代数，给出了它的本原p—包络代数P（L），证明了P（L）是一个分次李代数.其次，给出非奇异特征标的定义，证明了对于Cartan型李代数L=X（m，n），X=W，S，H，当特征标高度大于等于2小于p—2+δLW时，特征标X是非奇异的.最后，证明了本章主要定理：若X∈L*是L特征标，且htX=h满足2≤h