信息安全领域通常将目光聚焦于预防和抵御外部攻击,而忽视内部威胁带来的困扰。近些年来,震惊世人的泄密事件、网络瘫痪事件皆源于内部威胁,尽管投入大量资源维护边界防御措施,但对具有潜在威胁的内部人员却毫不设防。随着越来越多的安全从业者意识到内部威胁的危害,针对内部威胁防护(Insider Threat Protection,ITP)的研究已然形成趋势。现有威胁检测技术各式各样,但仍没有统一标准,其中最为行之有效的ITP便是利用日志资源进行行为审计。基于这一背景,本次课题提出对基于日志挖掘的用户行为审计技术进行研究,主要研究工作包括以下几个方面:(1)行为采集。在开源的攻击检测数据集中,CERT-IT数据集模拟了典型威胁行为,但涉及的行为域较少,与企业环境中的真实行为存在偏差,因此设计基于Logstash的采集器,通过路径匹配、正则解析等策略,提取企业环境下的用户原始日志。再利用MD5压缩码和HashSet对多类日志过滤去重,并进行清洗、融合等预处理操作,形成审计日志集,与CERT-IT日志集综合使用。然后设计了对日志集中的用户行为元的提取和行为序列量化方案,为后续威胁检测提供数据支持。(2)威胁感知。根据用户行为随时间变化的相似性,引入具有时序分析能力的隐马尔可夫模型,对用户行为序列建模分析。由于用户行为会随技能等因素而演变产生补充行为,导致模型容易对该类行为误判。针对补充行为造成的数据不平衡问题,本文提出将模型输入的行为序列重新分割处理以适应稀疏数据。针对影响威胁检测准确度的主要因素,提出采用自适应密度的聚类算法求解行为簇数实现对隐藏状态数的优化,再利用改进粒子群算法优化模型初始参数,建立基于DP-IHMM的用户行为模型。(3)审计实现。基于DP-IHMM审计模型设计并实现行为审计系统。结合用户行为波动特性,利用Forward算法求解序列观测概率lgp,并求出Viterbi算法预测的状态转移路径与前一时段的转移路径的相似度sim,通过阈值比较感知异常行为序列。然后提取异常序列来追溯行为日志,通过规则分析策略识别内部威胁类型,并将其以图表形式可视化。然后对主要功能模块和审计算法的性能进行测试。