本文研究的局部上下文是指图像中随空间位置变化而改变的某种属性。以视觉词包模型（bag-of-visual-words，BoVW）为例，它可以是局部特征的空间坐标。为了得到更复杂的局部上下文，可以建模空间邻近的局部特征之间的关系，还可以从局部特征的邻近图像区域中提取某种表达。在提取表达的时候，可以使用人工的或者学习得到的描述子;而学习表达的算法，又可以是无监督的或者有监督的。得到表达以后，还存在一个如何使用的问题。图像内容理解包含了很多形式各异的任务，如每图一标签的图像分类、每像素一标签的图像标注以及每对图像一标签的验证问题。此外，处理这些任务的不同算法也都影响着具体应该如何使用上下文知识。　　针对上述问题，以图像中局部上下文知识的表达和使用方法为研究对象，本文研究的主要内容如下:　　1.提出了基于空间有向图的图像分类方法。该方法基于视觉词包模型，直接使用局部特征的空间坐标作为上下文的表达，并以多次局部聚集的方式使用它们。空间有向图取代了空间金字塔(spatial pyramid)，它同时对空间分块以及分块之间的关系建模。　　2.提出了基于上下文聚集的图像分类方法。该方法也基于视觉词包模型，并且使用视觉词包模型从局部特征的邻近图像区域提取上下文表达，以上下文聚集的方式使用它们。上下文表达取代了空间坐标，它能够帮助区分未经过空间对齐的具有歧义的局部特征。　　3.提出了基于层级上下文的图像标注方法。该方法基于深度卷积神经网络，直接学习像素点在多个尺度上的层级上下文表达并用来分类。　　4.提出了基于上下文的跨视角步态识别方法。该方法基于深度卷积神经网络，直接学习像素点的上下文表达并送入与之同步学习得到的比较模型预测样本的相似度。