【摘 要】
：
近年来,基于梯度下降迭代求解的神经网络发展迅猛,出现了许多新的深度学习算法,尽管其在工业上取得了很大成功,但是训练一个这样的网络要耗费大量的时间.在机器学习领域有不少算法并不需要使用梯度进行迭代求解,黄广斌教授提出的极限学习机(ELM)就是其中一种.它是一种单隐层的前馈神经网络,其隐层的权重是随机产生的,输出层的计算则是基于最小均方误差的广义逆.由于ELM的计算不需要迭代,其计算非常迅速.然而,由
论文部分内容阅读
近年来,基于梯度下降迭代求解的神经网络发展迅猛,出现了许多新的深度学习算法,尽管其在工业上取得了很大成功,但是训练一个这样的网络要耗费大量的时间.在机器学习领域有不少算法并不需要使用梯度进行迭代求解,黄广斌教授提出的极限学习机(ELM)就是其中一种.它是一种单隐层的前馈神经网络,其隐层的权重是随机产生的,输出层的计算则是基于最小均方误差的广义逆.由于ELM的计算不需要迭代,其计算非常迅速.然而,由于极限学习机算法的结构简单,其对数据的特征学习效果不太理想,并且其任意逼近的特性需要数量巨大的隐层节点来保证.由于其隐层节点权重随机产生,使得算法的稳定性较弱.本文提出了基于极限学习机的分层梯度提升网络算法(HGB-ELM).这种新的算法网络结构可分为两部分;一部分是基于极限学习机的无监督的自编码网络,以此来进行特征提取,该部分使得任意隐层的随机节点失活,失活的神经元节点个数逐步增大,同时采用一种依次增加方差的策略来初始化权重矩阵,同时采用简单加权平均来提高抽取得到的特征的稳定性,训练阶段分两步计算,第一次采用随机抽样获得的样本进行计算以此降低过拟合的风险,另一部分则是采用Gradient Boosting集成方法来提高网络的泛化能力.大量的实验结果表明HGB-ELM算法有更好的泛化能力和稳定性,而且多层的结构也使得网络拥有更广泛的适用范围.
其他文献
连词“无论”是无条件复句的重要标志。本文重点考察“无论”在单句、复句中的使用情况,并对与“无论”高频搭配的副词“都”组成的“无论……都……”进行句法、语义层面的
逻辑回归是多标签分类以及排名任务中最常用的损失形式,但逻辑回归下的Sigmoid交叉熵损失函数受类别不平衡的影响极其严重。这种不平衡主要来自两方面,一是单个类别正例样本与负例样本比例的不均衡,二是各个类别之间样本数量上的巨大差别。这篇文章首先指出了这两种不平衡能通过对分类器输入随机生成的噪声样本来量化,即使噪声样本不能提供任何有助于分类的信息,分类器对噪声样本给出的预测值在各个类之间仍然有显著且稳
图像融合是将两个或者两个以上的传感器在同一时间或不同时间获取的关于某个具体场景的图像或者图像序列信息加以综合,以生成一个新的有关此场景解释的信息处理过程,而这个解释是从单一传感器获取的信息中无法得到的[1]。近些年来,国内外研究者在图像融合领域取得了丰硕的研究成果,本文将着重介绍在平移不变剪切波变换(Shift-Invariant Shearlet Transfom,SIST)下的图像融合方法。与
随着我国对野生动物保护力度的加强,对偷猎、贩卖、走私野生动物等违法犯罪行为的打击力度也逐渐加强,因此涉案野生动物及其制品的物证鉴定对惩治犯罪至关重要。目前,涉及偶蹄目动物的犯罪案件频发,而现主要的鉴定手段为宏观形态鉴定和DNA鉴定,有关毛微观形态学鉴定的研究较少,且主要以背毛研究为主。本文以水鹿(Cervus unicolor)、鼷鹿(Tragulus javanicus)、赤麂(Muntiacu
抽动症(Tourette Syndrome,TS)是一种以重复、刻板、无意识、无目的的运动性或声音性的抽搐动作为典型特征的,多发于儿童的慢性神经系统疾病,易产生抑郁、焦虑、睡眠问题等多
非线性分数阶常微分方程边值问题是常微分方程理论的一个重要组成部分.相比整数阶常微分方程,分数阶常微分方程能够更精准地刻画事物的性质和预测其发展趋势.因此,研究非线性分数阶常微分方程边值问题具有十分重要的理论意义与应用价值.本文致力于两类非线性分数阶常微分方程边值问题正解的存在性和多解性问题的探究.首先,通过Green函数将非线性分数阶常微分方程边值问题转化为求相应积分算子的不动点问题;然后,利用相
强激光场与原子、分子等相互作用会产生许多非线性的光学现象,如阈上电离、高次谐波、非顺序双电离等。其中高次谐波一直是人们研究的重要课题,利用高次谐波,我们可以产生较
双千兆网络时代刺激了光纤光缆多元化的需求,本文对不同应用场景下的各种新型光纤产品进行了应用分析,新型光纤将为双千兆网络发展所需的强大、完备、广泛覆盖的光纤网络提供
在公司法由实缴资本制修改为认缴资本制之后,在相关法律关系中出现出资人资本认缴的期限利益与公司债权人债权利益之间的冲突。这种冲突也明显反映在司法实务的两难判断中,即
融资租赁是一个包括着融资和融物双重属性的有发展前途的产业。在我国经济以及各行各业的迅猛发展下,融资租赁业务也跟着发展起来,逐渐形成了三股势力,有银行牵头的,有厂商牵头的,还有独立开展的融资租赁公司。作为独立开展融资租赁业务SQ公司既没有银行那边的资金方面的优点,也没有厂商那边雄厚的技术背景。所以SQ公司要找到有利于自身发展前进的方向。通过对SQ公司的深入分析,从中得出适合SQ公司自身发展的战略。本