云计算是一种创新的基于资源使用量付费的应用模式。在云计算模式下,云服务提供商负责部署大型服务器并提供云服务相关的软硬件资源,租户则根据需求付费租用云平台的资源和服务。云服务提供商借助虚拟化技术的发展提升了资源的利用效率,云平台用户能够便捷地获得充足的计算资源以及安全稳定的平台服务——云计算的出现为市场带来了双赢的效果。如今大量的应用部署在云平台上。出于性能和灵活性的考虑,云平台也不断开放着自己的接口,以提供更方便更优质的服务。然而,开放在提升了易用性的同时,也带来了潜在的风险。一个具有高权限的恶意应用往往可以利用操作系统提供的过于开放的接口破坏系统甚至读取其他应用的数据。云平台一直在遭受恶意应用的攻击,其自身的安全问题亟待解决。另一方面,云平台的安全问题也导致了信任危机,用户无法相信云平台能够保证数据的安全性和隐私性,自然不愿意将应用部署在其上。如何提供更安全的运行环境,也是现有虚拟化云平台研究工作中的重点之一。针对上述两个问题,本文的主要贡献有以下两个方面。第一,针对恶意应用攻击云平台的问题,本文利用系统虚拟化的特性,提出并实现了一种透明的虚拟机内部系统调用截获的方法。由于很多恶意行为都是由一系列典型的系统调用组成的,因此这种方法能够在虚拟化层对虚拟机内部应用的行为进行分析和监控。在此基础上本文实现了基于系统调用截获的入侵检测系统,该系统既有足够的识别能力,又具有较强的防绕过能力,可以在虚拟机监控器中监控虚拟机内部应用的行为,避免应用程序对操作系统的关键数据进行篡改。借助调试寄存器实现了系统调用的截获功能,适用于和等多种操作系统,具有良好的灵活性和兼容性。经过真实工作负载的测试,在监控级别下该系统最高的运行开销为,这一结果远远好于同类型系统。第二,针对用户对云平台的信任问题,本文设计并实现了信任可配置的虚拟机域内隔离系统。将系统调用划分为安全敏感与非安全敏感两种类型,应用程序可以对某个系统调用安全敏感与否进行配置。提供了公共和私有两个操作系统,利用系统虚拟化的内存隔离特性,将公共与私有操作系统置于不同的页表中。被保护的应用运行在私有操作系统中,可以根据用户的配置决定系统调用应该在哪个系统中执行,在提升应用数据安全的同时不影响被保护的应用程序与其他程序的交互。在实现上利用处理器的新特性指令实现了系统调用时两个页表的快速切换,使得系统运行开销可以下降到非常低的程度。测试表明,在真实场景下,应用程序性能下降仅有到,应用程序部署在上也仅需很少量的改动即可。