石墨烯，由单层碳原子构成的二维蜂窝状结构，自从2004年被成功地从石墨中剥离出来，在过去的十多年间，已经成为材料科学界的明星，在世界范围引起了广泛关注。石墨烯是第一个真正意义上的二维原子晶体，有诸多奇异性质，例如高表面积、高热导、超高载流子迁移率和室温下的量子霍尔效应等。这使得石墨烯在电子学、光学、能量产生和存储、传感器和生物科学等领域具有巨大的应用潜力。石墨烯的优异性质激励人们探索其他二维原子晶体材料，这其中包括六角氮化硼，四主族类石墨烯材料（例如硅烯和锗烯），层状过渡金属二硫属化合物（例如二硫化钼）等。本论文主要通过低能电子衍射、扫描隧道显微镜、拉曼光谱等表征手段结合第一性原理计算研究了高质量硅烯的制备及生长动力学过程、外延石墨烯的插层机理、以及对二维原子晶体的研究具有重要意义的超高真空qPlus原子力显微镜技术。　　1)硅烯因为可以直接整合入现有的半导体硅工业而倍受人们的关注。目前硅烯一般在Ag(111)表面上制备得到，但是在Ag(111)表面的硅烯有很多不同的超结构，即以Ag(111)为基底的硅烯有很多畴，很难形成大面积、结构均一的硅烯薄膜。借鉴在Ru(0001)基底上可以生长出大面积、高质量石墨烯这一实验事实，在Ru(0001)上生长出大面积硅烯。硅烯在Ru(0001)表面呈现单一的(√7×√7)超结构。通过在生长过程中严格控制硅的量，得以观察到少量硅存在时在Ru(0001)表面上形成的硅herringbone结构，并且证实这种结构的弯位是硅烯六角蜂房结构六元环的成核点。在硅的覆盖度合适的情况下，Ru(0001)表面上会形成硅的herringbone-honeycomb二维超晶格。在这一基础上进一步增加硅覆盖度可以得到大面积硅烯。这一工作证明了Ru(0001)表面可以生长出大面积的硅烯，并且第一次观察到硅的herringbone结构和硅烯的生长过程。　　2)我博士阶段的主要工作是外延石墨烯的插层尤其是硅插层，研究插层过程中石墨烯与基底界面上的形貌和作用力变化，并希望探索厚层的硅插层是否可以实现。要达到厚层插层这一目的，首先应该根据少层插层的实验数据结合理论计算给出插层机制的物理图像，以便指导下一步的实验。发现，在插层过程中，存在一种在外来原子协同作用下产生缺陷的现象，这些缺陷可以作为外来原子扩散到石墨烯与基底界面上的通道，有利于插层的形成。在插层温度下，插层原子可以在界面间自由扩散，寻找到能量最低的位置，并随插层量的增加而逐渐形成满层插层。同时基底体相中的碳可以补充到表面而修复石墨烯中因外来原子协同作用而产生的缺陷。这是一个动态平衡的过程，最终会产生没有缺陷的插层石墨烯。这一插层机制的提出可以进一步指导石墨烯插层进行更好的控制。　　3)随着二维原子晶体研究的深入，人们发现二维原子晶体的缺陷、畴界和边界处会有一些新奇的性质。目前对这些结构的研究主要使用扫描隧道显微镜和透射电子显微镜。但是在这些结构中一般会有很强的电子态，扫描隧道显微镜对其成像时会把电子态与结构信息混合起来，因而无法得到单纯的结构信息。而对于透射电子显微镜而言，需要把样品转移到铜网上，对于缺陷、畴界等本身就比较脆弱的结构会产生一定的破坏。超高真空qPlus原子力显微镜可以原位地对二维原子晶体进行表征，得到单纯的结构信息，是研究二维原子晶体的缺陷、畴界和边界结构的有力工具。在本论文的第三部分，讨论了频率调制原子力显微镜的工作原理、代表性工作和调试过程中发现的需要特别注意的问题。