自然界中存在四种基本相互作用，即引力相互作用、电磁相互作用、强相互作用和弱相互作用，其中强相互作用是核子间重要的相互作用之一。1935年，汤川秀树提出了核力的介子场论，1947年，Powell等人在实验上发现了汤川预言的介子，被称为π介子。π介子的发现，证实了介子场理论的正确性。Walecka等人在上世纪70年代，基于汤川的介子交换场理论发展了相对论平均场理论。近40年来，相对论平均场理论取得了重要发展，并在研究原子核结构、奇异性核物理、核天体性质等方面取得相当大成功。相对论平均场理论（RMF）是基于核子、介子自由度的有效场理论，为研究核系统在低能情形下的物理特性提供了一个很好的理论出发点。在高温高密情况下，核系统将以夸克和胶子自由度为主要成分，为了能够研究原子核、核物质在很大密度和温度范围内的性质，需要对核多体系统如何从核子、介子自由度过渡到夸克、胶子自由度进行自洽统一描述。为此，一些基于夸克、介子自由度的平均场模型被人们不断提出。1988年，Guichon在MIT口袋模型基础上提出了夸克介子耦合模型(QMC)。后来，Toki等人利用组分夸克模型取代MIT口袋模型，发展了夸克平均场模型(QMF)。80年代初，Fowler等人针对MIT口袋模型不能很好描述夸克退禁闭相转变的缺陷，提出了夸克质量密度依赖模型(QMDD)。在QMDD模型基础上，考虑夸克间相互作用，引入介子自由度发展了推广的夸克质量密度依赖模型(IQMDD)。在本论文中，我们主要利用IQMDD模型来研究有限核以及奇异核结构性质。　　目前，基于夸克、介子自由度的相对论平均场还很少被用来研究形变核性质，我们发展了形变的IQMDD模型，引入ω张量耦合项，提出了IQMDD2*参数组，并利用该参数组研究了形变核的结构性质。最初的IQMDD模型参数是针对核物质饱和性质拟合而成，对于有限核性质的描述需要进一步检验。计算表明，IQMDD参数组对于核子自旋-轨道劈裂的理论预言与实验值存在较大偏差。为克服模型的这一缺陷，引入了夸克与ω介子张量耦合项，针对已有有限核实验数据，包括结合能、电荷方均根半径、核子自旋-轨道劈裂等，并结合合理的重核中子皮厚度，对模型进行改进，提出了IQMDD2*参数组。计算表明，新的模型参数对于有限核基态性质能给予合理描述，给出的有限核的结合能、电荷方均根半径、核子自旋-轨道劈裂、四极形变等物理量都与实验值符合较好。　　另一方面，基于相对论平均场理论，研究了p壳和sd壳Λ超核的形变性质，分析了ω张量耦合对形变Λ超核超子基态能级的影响，并进一步研究了Si和S同位素链形成的Λ超核的形变特性。随着实验技术的进步，带奇异性量子数的原子核多体系统的研究成为当前国际核物理研究的热点问题之一。在原子核中嵌入一个或多个Λ超子构成为Λ超核。同时，由于带奇异量子数的K-介子与核的吸引作用，原子核中可能存在K-介子束缚态，形成K-核。研究奇异性核物质性质，有助于了解奇异介子、超子与核子间(YN)的强相互作用和弱相互作用机制，在探索核的新形态、强相互作用的SU(3)动力学、相对论重离子碰撞、核天体物理等方面具有重要物理意义。在论文第三章中，我们研究了Λ超核的形变特性。计算表明，对于大部分Λ超核，超子对核芯形变的影响不大，但是对于某些特定的Λ超核，超子能引起核芯形变很大变化，甚至可能使得核芯由椭球形状变为球形。特别地，我们针对一些在基态可能具有结团结构的有限核形成的Λ超核进行了研究。结果表明，由于ΛN强相互作用，超子的加入可能会引起超核核芯结团结构出现退局域化现象。　　在论文的第四章中，基于相对论平均场理论，我们分析了有限温奇异中子星物质的Λ超子超流性质。ω介子与ρ介子交叉耦合，能够影响重核中子皮厚度以及高密核物质对称能。保持对称能在一特定核物质密度下不变，通过调节ω-ρ交叉耦合项和ρNN项的耦合强度，我们分析了ω-ρ交叉耦合对Λ超流的最大能隙、形成超流的核物质密度等性质的影响。通过超流与正常流相图分析，我们讨论了中子星物质中发生Λ超流的临界温度。计算表明，Λ超流的临界温度敏感依赖于核物质状态方程(EOS)以及ΛΛ相互作用势，其最大临界温度在109K数量级。　　最后，基于夸克介子耦合模型，研究了K-介子束缚态问题，分析了K-介子在饱和密度下的光学势深度对于K-核性质的影响。计算表明，K-介子光学势深度对于K-介子的结合能，衰变宽度，K-介子在K-核中的密度分布等有重要影响。同时还分析了K-介子对于K-核核芯密度分布，单粒子能级的影响。对一些可能具有气泡结构的原子核对应的K-介子束缚核的理论分析表明，K-介子能很大程度地引起核芯的尺寸收缩效应，其结果会使得K-核中心处核子密度增加，导致核芯气泡结构消失。更有意思的是，K-介子能够显著地降低核子的基态能级，并且增大赝自旋双重态的能级间隔，产生更大的赝自旋对称性破缺。