激光外差干涉的振动测量具有很高的精度，在纳米级振动测量中有着独特的优势。通过研究发现，由于激光光源的偏振态不理想或不稳定以及光学元器件的缺陷或调整不完善，容易引起干涉臂中两种不同偏振态的光混叠，导致被测的干涉条纹不稳定，从而形成较大的周期性非线性误差。本文对所设计的测振光路中不同类型的分光棱镜所产生的光(参考光与测量光)功率、偏振态和光反馈，对光学系统稳定性产生的影响进行了对比分析。通过实验证实，偏振分光镜的漏光误差对外差干涉仪非线性的影响通常是可以被忽略不计的。本文通过对光学系统的调整与优化，以M-Z干涉光学系统为研究基础，最终搭建出了一套能量损耗低，测量距离远，精度高的光学系统。通过检测结果可知优化后的光学系统可以很好的用于nm量级精度的振动测量且整套系统对振动的幅值和频率都具备良好的探测效果。