后五代移动通信网络（Beyond 5th generation mobile networks,B5G）和第六代移动通信网络（6th generation mobile networks,6G）技术能够提供优质的通信服务和灵活的网络结构,随着B5G网络建设的深度开展,网络安全不容忽视。在网络层实施的传统密码学方案,随着计算机算力增强,面临日益严峻的安全挑战。本文紧密围绕物理层安全这一核心,从物理层接收信号的统计性质出发,研究通信系统中“内外”安全风险,并提出相应的解决方案。本文分为三部分研究内容。首先,在可能存在恶意中继的通信系统中,本文研究了信道编码下的信息完整性保障技术。本文发现分布式中继系统中存在一类“不可篡改”（non-manipulable）信道条件,在该信道条件下,目的节点无需使用密钥就能够依概率检测出恶意中继节点对信息流的篡改,或依概率校正中继篡改造成的误码,从而保障信息完整性。由于无需使用密钥,传输效率较高。本文证明了二元对称信道（Binary Symmetric Channel,BSC）和二元擦除信道（Binary Erasure Channels,BEC）均可满足“不可篡改”条件。最后,用Turbo码进行仿真实验,验证所得理论结果。其次,针对由通信系统外部节点对导频、数据阶段发起的干扰攻击,本文研究在此攻击下的可信信道估计技术。本文首先论证了智能反射面（Intelligent Reflecting Surfaces,IRS）的攻击能力,并分析此类攻击的发生对现有信道估计方案造成的影响。被攻击者用作攻击工具的IRS被称为恶意IRS（malicious IRS）。有鉴于此,本文从基站接收信号的几何特征入手,克服外部攻击节点对信道估计的影响,完成了可信信道估计与信息提取。仿真验证了所提算法的性能优势。最后,为了进一步提高智能反射信道的估计效率,本文针对可共享反射参数的恶意IRS网络,提出了一种面向多反射信道的信道估计方法。所提方法允许多反射元素同时开启,利用信道分离技术在基站端盲分离出所有信道。在信道分离的基础上,利用网络各节点共享的反射参数,设计基于最大似然准则的信道鉴别方法。最终鉴别出各反射面到基站的信道。所提方法无需反射信号内嵌信道鉴别辅助信息,较好的适配了反射面器件不具备信号处理能力的特点。仿真验证了所提方法的性能优势。本方法也适用于智能反射面的协作通信。