场景分类一直是计算机视觉领域内的一个极具挑战性的课题，它是图像检索、目标检测和图像分割等视觉研究分支的重要基础。随着计算机互联网的不断普及，每天都在不断地涌现出大量的视觉数据，如何对它们进行有效的管理逐渐成为了我们亟待解决的问题之一。为了对这些海量的图像数据进行分类和检索，需要按照图像内容为其贴上语义标签，场景分类正是处理上述问题的一种有效途径。尽管目前已经有很多方法在场景分类任务中取得了不错的效果，但是由于场景的复杂性和多变性，场景分类仍然面临着诸多困难和挑战。　　基于此，我们在本文中提出了两种基于高层语义的分类方法，在对图像语义进行解析的基础上对场景进行识别和分类:　　1)随着场景结构和内容变得越来越复杂，基于简单的图像颜色和纹理已经不能对图像进行有效的分类了。对于一副场景来说，如何在理解场景中目标语义的同时，捕获场景的结构布局是场景分类的关键。基于此，我们提出了一种基于可变形部分模型的图像表达，该表示利用了多个目标检测子在场景多尺度空间上的响应图来反应图像中的目标语义信息。同时，又能通过场景结构检测子来描述场景的结构布局和目标之间的相对位置信息，从而可以在理解场景语义的基础上对图像进行有效分类。　　2)卷积神经网络可以学习到图像中频繁出现的颜色和纹理卷积核，因此深度卷积响应特征是一种在场景语义分析的基础上进行分类的有效方法。但是传统的深度特征却由于缺少几何不变性，使得它在复杂场景分类任务中的效果受到严重影响。基于此，我们提出了一种将深度响应特征与显著性区域结合的方法，并通过Fisher Vector对图像特征进行二次编码的方式使得该图像表示更加具有表现力。从而改善了深度特征缺乏几何不变性的缺陷，在复杂场景分类任务中取得了良好的效果。　　我们对上述方法分别在目前权威的场景分类数据库15 Scene、UIUC Spots、MITIndoor上进行了评估，与其他一些主流的场景分类方法进行了对比，均取得了比较好的分类效果。