在大数据时代,张量是一种很有效的表示大规模数据的形式。张量之间通过互连所形成的张量网络,由于其利用了高阶结构信息,因此能够有效地缓解大规模数据的维度灾难问题。另一方面,神经网络作为目前人工智能领域的主流研究方向,有着明显优势的同时却也存在维度灾难问题:如参数量过大、网络训练较慢和参数冗余严重等。不过由于神经网络的输入、输出和权重都可以看成是某种特殊的张量,因此我们可以将张量网络的理论、思维、方法和技巧等应用到神经网络中,建立张量网络和神经网络之间的联系来改善神经网络,并试图从张量网络的角度来解释神经网络。本文的贡献主要在于对张量网络的计算进行优化并提出了一种新的张量化神经网络方法,主要工作如下:首先,研究了几种经典的张量分解的图形表示,并分析了它们各自的优缺点以及它们之间的联系,为后文使用它们做铺垫。其次,针对概率时间张量分解模型难以并行加速的问题提出了一种并行化的概率时间张量分解方法。该方法的核心概念是把在一个大规模张量上进行的每一步序列操作分割为在一些小的子张量上进行的相互独立的对应的操作,然后使用ADMM框架来并行加速运算,并且同时还能保持带有时间张量分解模型的时间效应的能力。本文还为该方法设计了一个新的随机学习算法来进一步提高其性能。最后实验结果表明该方法能够在精度和可扩展性上优于相应的对比算法。最后,针对目前在压缩深度神经网络的方法中存在的不能有效地压缩和需要精细调参过程的问题提出了“基于块项分解的张量化神经网络”。该网络主要使用了基于块项分解的并且拥有极少参数量的“块项层”来替换深度神经网络中的全连接层以及卷积层以达到压缩其参数的目的。本文指出,由于块项层具有“指数表达能力”的特性,因此它能够尽可能地保持全连接层和卷积层的表达能力;由于块项层的模式具有“可交换性”,所以它的秩不需要进行精细调整过程。最后实验结果表明该网络能够在几乎保持甚至高于原始精度的情况下大幅度地压缩单层网络的参数量,整体压缩比也非常可观。