文本信息广泛存在于路标、招牌、海报等自然场景中,这些文本是理解图像内容和提供信息的重要线索,所以对场景文本进行抽象识别已经成为一个新兴的研究热点。传统的利用相机进行场景文本识别的方法存在较大的局限性,使用起来不够便捷。而近年来眼动追踪技术的广泛应用使许多复杂的工作得到了简化,所以本文将眼动追踪技术与场景文本识别技术相结合,实现了一个基于眼动追踪的场景文本识别系统。在本文实现的基于眼动追踪的场景文本识别系统中,通过眼动追踪技术对使用者的凝视位置进行估计,同时利用文本检测模型对使用者视野中的场景文本区域进行检测,当使用者的凝视位置在文本区域内时,对相关区域内的文本进行识别,获取相关信息并反馈给使用者。针对现有的头戴式眼动追踪系统无法进行精细凝视位置估计的问题,以及采集的前景图像不够精细,导致对场景中的文本检测与识别准确率不高的问题,本文设计并实现了一个头戴式双目眼动追踪系统。该系统通过两个视场大小不同的前景相机捕获前景图像,大视场相机捕获整个前景,小视场相机捕获特定区域精细图像,再通过近眼红外相机检测出使用者的瞳孔位置信息,然后根据凝视映射模型,将瞳孔位置映射到前景图像中得到凝视位置,最后通过两个前景相机进行视野匹配,从而实现精细凝视位置估计与感兴趣区域图像的精细采集。实验评估结果表明,改进的双目眼动追踪系统相比于原始单目眼动追踪系统,准确度提升了22.7%,精度提升了18.4%,对场景中的文本区域图像的采集也更加精细。本文使用改进过的EAST模型和CRNN模型,经过自然场景图像训练后,分别对前景图像中的文本进行检测与识别,当使用者凝视前景中的文本区域时,将实时获得该区域的文本信息反馈。同时,本文采用相关滤波类的经典目标跟踪算法KCF算法对前景中检测到的移动的文本目标进行跟踪,同时针对KCF无法对尺度变化较大的目标进行准确跟踪的问题进行改进,提出了自适应的目标跟踪改进算法。实验结果表明,系统中使用的EAST文本检测模型,综合指标(F-Score)值为0.81;CRNN文本识别模型识别正确率为73%。改进后的自适用目标跟踪算法平均位置跟踪误差降低了23.9%,重叠率提升了46%。