医学诊断技术的进步与我们每个人生命健康息息相关,随着科学技术的发展,许多研究学者对人工智能技术在医疗诊断领域的应用非常关注。其中癌症是对人类极具威胁的一大病种,患者预后治疗效果备受关注,一般通过五年生存率来衡量癌症患者经过治疗后的治疗情况。根据柳叶刀全球健康数据统计,目前大部分癌症的五年生存率仍然较低,例如肺癌、肝癌、胆囊癌和胰腺癌等等,其五年生存率均不足20%。也因为医学治疗过程的特殊性,仍然存在获得数据难、获取途径局限等带来的问题。一般情况下可获取的数据属于多模态数据包含了类别型数据（研究对象的基本信息等数据）和连续型数据（研究对象进行X摄像扫描检查形成的DR图或CT图等数据）,目前许多研究和应用都是基于单一数据类型进行建模的,数据信息未得到充分地利用,因此如何有效结合不同类型的数据建立统一的模型是具有研究意义和探索价值的。本文将结合决策树模型在该领域的研究热点和数据特点,展开以下方面的工作。建立可靠有效的癌症预后模型对患者预后治疗具有重要意义,因此我们首先针对基于五年生存率的数据划分方式带来的类别不平衡问题,提出了一种将改进的SMOTE方法和深度森林相结合的模型DF-SMOTE,并通过广东省人民医院提供的早期肺癌预后情况数据,与风险回归COX模型进行对比实验。其中构建模型的分类器还使用了两种单分类器（支持向量机和决策树）以及集成方法随机森林,结果表明DF-SMOTE模型明显优于其他方法,测试准确率比SVM-SMOTE模型提升约8%,验证了DF-SMOTE模型对处理不平衡类别型数据集的有效性和优越性。最后通过可视化决策树的决策过程分析了各个特征带来的作用,以及通过特征重要性分析图呈现了特征重要性从高到低的排序,这对我们的特征筛选起到重要的指导作用。另一方面本文结合类别型数据和连续型数据这两种类型的数据,基于决策树结构框架以及结合神经网络,借鉴深度神经决策森林和软决策树方法,提出了针对多模态数据的混合网络模型（Hybrid Network for Multimodal Data,HN-MD）。使用广东省人民医院提供的先天性心脏数据集实验,包括了患者基本信息等类别型数据和DR图像连续型数据,是一种典型的多模态数据集,并对中间分裂结点中CNN的设计使用不同的经典网络如VGG16、Inception-V3和Xception方法进行对比实验,分别记为HN-MD-VGG16、HN-MD-Inception和HN-MD-Xception。我们分别采用单一DR图像数据和多模数据集进行实验,单一数据实验结果表明HN-MD系列的方法均明显比随机森林方法表现更好,测试集准确率提高了约5.22%,在该基础上加入类别型数据,构成多模态数据集,其结果显示三种方法使用多模态数据的效果均比优于单一DR图像数据集,测试集准确率约提高了1%,这验证HN-MD方法的可行性和有效性。